Post #1941965
2026-05-04 05:10 UTC
@bestest@mstdn.social @suihkulokki@society.oftrolls.com duuneissahan tuota käytetään niin että laitetaan jytkyt gpu:t firman konesaliin (a100+) josta niitä käytetään firman sisältä API yli. Eli sulla on sitten paremmat ja tehokkaammat mallit koodiavustamassa. Öiksi sitten niille skeduloidaan muuta avustavaa kuormaa, kuten pikku PR tekoja tai testausta. Se että niitä omalla koneella vertailee ja pöyristyy paskuudesta on kuin kyselisi ala-asteelaiselta miten näitä koodataan. Ei aivokapa riitä.
Replies (1)
-
@Turre@mementomori.social 2026-05-04 06:11
@ikkeT@mementomori.social @bestest@mstdn.social @suihkulokki@society.oftrolls.com Paikallisesti ajamalla saa hyvin suhteellisuuden tajua siihen miten järjettömän raskasta se homma on laskennallisesti. Ja sitten kun miettii mitä varten. LLM:t on paljolti kuin sääennustetta laskisi. Tyyliin ennusteen tarkentaminen "yhdellä desimaalilla" kasvattaa laskentatarvetta eksponentiaalisesti, ja silti se on vaan ennuste. Ja mitä pidemmälle ennustetaan sitä isompia huteja tulee. Ensimmäiset pari desimaalia voi olla vielä jollain tasolla perusteltavissa mutta hyvin nopeasti pitää ymmärtää että se on silti vaan ennuste ja usein väärässä.