Post #4159677
2026-07-28 09:18 UTC
Replies (1)
-
@madsenandersc@social.vivaldi.net 2026-07-28 09:44
@LarsHenriksen@mastodon.nu Ingen årsag. :) Nu ved jeg ikke, hvor du er i forhold til selv at køre en LLM, men hvis du vil prøve at dyppe tæerne lidt i bassinet, kan jeg anbefale at installere AnythingLLM (https://anythingllm.com/download) på din lokale computer. Det kører på Windows, Mac og Linux, og det har nået et niveau, hvor systemet selv kan finde ud af at gå på nettet og finde oplysninger, der er så opdaterede som muligt. Selv på en relativ begrænset maskine (16 GB RAM er nok at foretrække) uden et dedikeret grafikkort, kan du komme afsted med at eksperimentere med mindre modeller som den ovennævnte Mistral-3:3b eller Gemma4-e2b (Gemma er Googles LLM, som ligger bag Gemini i en meget større udgave). Personligt foretrækker jeg Mistral, da Gemma har det være lidt af et sludrechatol. Der kommer tit nogle meget lange svar på et simpelt spørgsmål. :)