Post #1921949
2026-05-03 18:59 UTC
@jannepekkala@mementomori.social En oo ihan varma tavoitteista, mutta helpoiten vauhtiin pääsee esim Ollamalla. Helppo asentaa ja käyttää. Rammi lähinnä rajoittaa mitä kaikkea pystyy ajelemaan. 16gb riittää helposti 7b modelien kanssa.
Suoraan llama.cpp:llä voi tehdä kans. Lm studio on ollamaa vastaava, mutta itse en tykännyt sen ui:sta yhtään.
itse sontageneraattori ei mitään koodia ajele koneella. Eikä pääse tiedostoihin käsiksi. Käytännössä toimii vaan rajapintana, joka vastaa sekavia, kun sinne huudetaan.
Replies (1)
-
@jannepekkala@mementomori.social 2026-05-03 19:09
@bestest@mstdn.social kiitos :) mulla on siis tarkoitus väkertää agentti yhteen tarkoitukseen. Agentti taas voi käyttää koneen muutakin toiminnallisuutta (sille annettuja työkaluja) joten se on altis prompt injektiolle. Ei kyllä ole mitään clawbottia tulossa 😁 Mutta kiitos, auttaa etiäpäin 👍