Post #4158418
2026-07-28 08:16 UTC
Replies (4)
-
@benjaminlj@virup.social 2026-07-28 08:21
@LarsHenriksen@mastodon.nu @madsenandersc@social.vivaldi.net Du kan evt tjekke om kommunen er med i OS2AI projektet. https://www.os2.eu/os2ai
-
@madsenandersc@social.vivaldi.net 2026-07-28 08:55
@LarsHenriksen@mastodon.nu Uha - det er et ret omfattende spørgsmål med en hel masse variabler, så det er ikke så let at svare på. Der er to ressourcer, der er i spil: RAM og GPU-kraft. RAM-mængden har indflydelse på kvaliteten af de svar, man kan få fra sin egen LLM. Jo større en LLM er, jo mere nuancerede og pålidelige svar kan man få, alt andet lige. GPU-kraften har indflydelse på, hvor hurtigt, man kan få sine svar. Jo større din LLM er, jo flere kræfter skal der til for at lave et svar - igen, alt andet lige. Udfordringen er altså at finde en LLM-model, der leverer svar, der er "gode nok" til at opfylde ens behov i forhold til kvalitet og hastighed, og så finde hardware, der passer til netop det behov. Jeg ved på ingen måde nok til at kunne give råd om store implementeringer af LLM-løsninger, men jeg kan illustrere nogen af udfordringerne med min egen løsning. Jeg bruger en lokal computer med Ollama til inferens og AnythingLLM som interface. Hardwaren er en AMD Ryzen 7 8700G med en indbygget Radeon 780M GPU, som har fået tildelt 16GB dedikeret RAM i BIOS. Det er altså meget begrænset hardware, ikke ulig den, man kan finde i en kraftig bærbar computer. 1/2
-
@anderslund@expressional.social 2026-07-28 08:18
@LarsHenriksen@mastodon.nu @madsenandersc@social.vivaldi.net Hold nu for pokker LLMer ude af skolerne! Ellers lærer de studerende jo ikke noget rigtigt! 😅
-
@trezzer@social.linux.pizza 2026-07-28 09:38
@LarsHenriksen@mastodon.nu @madsenandersc@social.vivaldi.net SkoleGPT er vel forsøget på at lave noget for alle på det grundlag.