Post #1944353
2026-05-04 06:11 UTC
@ikkeT@mementomori.social @bestest@mstdn.social @suihkulokki@society.oftrolls.com
Paikallisesti ajamalla saa hyvin suhteellisuuden tajua siihen miten järjettömän raskasta se homma on laskennallisesti. Ja sitten kun miettii mitä varten.
LLM:t on paljolti kuin sääennustetta laskisi. Tyyliin ennusteen tarkentaminen "yhdellä desimaalilla" kasvattaa laskentatarvetta eksponentiaalisesti, ja silti se on vaan ennuste. Ja mitä pidemmälle ennustetaan sitä isompia huteja tulee. Ensimmäiset pari desimaalia voi olla vielä jollain tasolla perusteltavissa mutta hyvin nopeasti pitää ymmärtää että se on silti vaan ennuste ja usein väärässä.
Replies (1)
-
@ikkeT@mementomori.social 2026-05-04 06:18
@Turre@mementomori.social @bestest@mstdn.social @suihkulokki@society.oftrolls.com ja käänteisesti esim. noi meidän jakamat mallit on tuunattu vllm:llä niin että tiputetaan hieman tarkkuudesta, ja saadaan malli suoriutumaan huomattavasti paremmin. Mallit ei siis meidän, mutta ne on julkisia malleja jotka on hurautettu optimoinnin läpi.