Post #4283162

@flkbmr@mastodon.social schau dir mal die neuen Gemma 4 Modelle e2b und e4b an, welches für solche Geräte und Smartphones entwickelt wurden. Sind letzte Woche erst erschienen. Für deinen use case brauchst du aber auch noch ein embedding Model, weshalb evtl. das Llama 7b eh nicht passen würde, außer du hast 16 GB RAM. Da du aber auf dein obsidian Wissen zugreifen willst, reichen 2b oder 4b aus.