Post #971656
2026-04-06 17:45 UTC
Hat jemand Erfahrungen mit lokaler #LLM Inferenz auf Mini Systemen wie #raspberrypi oder #zimablade ?
Ziel wäre ein kleines Modell wie Llama 7b in Verbindung mit einem #obsidianmd vault zu nutzen. Sozusagen ein:e mini Archivar:in um den Vault sinnvoll zu vernetzen. Das Ganze mit so wenig overhead wie möglich und CPU-basiert🤔
#selfhost #homelab #ai #ki
Replies (2)
-
@chris@olsberg.social 2026-04-06 17:55
@flkbmr@mastodon.social Nee, leider nicht. Ich setze als "Home-KI" ein System mit GeForce-GPU ein. Übrigens ein System, für das Microsoft mir letztes Jahr gesagt hat: "Win11 läuft darauf nicht mehr"... 😜
-
@benny@mastodontech.de 2026-04-06 18:05
@flkbmr@mastodon.social schau dir mal die neuen Gemma 4 Modelle e2b und e4b an, welches für solche Geräte und Smartphones entwickelt wurden. Sind letzte Woche erst erschienen. Für deinen use case brauchst du aber auch noch ein embedding Model, weshalb evtl. das Llama 7b eh nicht passen würde, außer du hast 16 GB RAM. Da du aber auf dein obsidian Wissen zugreifen willst, reichen 2b oder 4b aus.