@jannepekkala@mementomori.social
Post #1906817
2026-05-03 06:45 UTC
@bestest@mstdn.social tiivistelit aika hyvin omat tämänhetkiset (vahvat) oletukset. Työkalu juuri siihen, mihin se (todellisuudessa) on tarkoitettu, eli avustajaksi ja rutiinien automatisointiin, jolloin voi itse keskittyä oleellisempiin asioihin. Harmillisesti tuota vain katsotaan sinä, mikä se ei ole, eli ”kalliin työvoiman/ostopalvelun korvaaja”, jolla (ylläripylläri) elinkeinomaailma sitä lähestyy.
Itselläkin tarkoituksena kesän aikana bykata paikallinen SLM pyörimään Agentin Coreksi (jonka tehokkuutta verrata ”kaupallisiin” LLM vastikkeisiin) opparia varten. Niin sattuuko olemaan heittää jotain linkkiä, minkä kautta tuota llamaa kannattaisi lähteä lähestymään teknisessä mielessä? Tulenen uhraamaan M2 MiniMacin tähän käyttöön (eli poistamaan siitä asiat, joihin en halua tekoälyn koskevan vahingossakaan.
Replies (1)
-
@bestest@mstdn.social 2026-05-03 18:59
@jannepekkala@mementomori.social En oo ihan varma tavoitteista, mutta helpoiten vauhtiin pääsee esim Ollamalla. Helppo asentaa ja käyttää. Rammi lähinnä rajoittaa mitä kaikkea pystyy ajelemaan. 16gb riittää helposti 7b modelien kanssa. Suoraan llama.cpp:llä voi tehdä kans. Lm studio on ollamaa vastaava, mutta itse en tykännyt sen ui:sta yhtään. itse sontageneraattori ei mitään koodia ajele koneella. Eikä pääse tiedostoihin käsiksi. Käytännössä toimii vaan rajapintana, joka vastaa sekavia, kun sinne huudetaan.