Post #4061477
2026-07-24 11:23 UTC
Replies (4)
-
@isotopp@infosec.exchange 2026-07-24 11:47
Kimi 3 ist ein Modell mit 2.8 Billionen Parametern (deutsche Billion, 2.8e12 Parameter). Es ist ein sparsames MoE-Modell mit 896 Experten. Das heißt, Du brauchst immer noch Speicher, um das ganze Modell zu laden, aber es sind immer nur 16 von den 896 Experten aktiv, also wird nicht der ganze Speicher umgegraben, sondern immer nur 16/896tel davon pro Token. 2.8e12 Parameter in BF16 sind 5.1 TB, als in8 sind es 2.55 TB und als Q4_K_M werden es dann ca. 1.6 TB Speicher sein. Angekündigt ist stattdessen ein MXFP4 mit speziellen Kernes, und einer Zielgröße um die 1.5 TB. Dazu kommen noch Overhead, Kontext und KV-Caches der 23 vollständigen MLA-Layer und ein paar andere Dinge. Genaues werden wir erst am 27. Juli lernen, wenn die Weights raus sind. 16x H200 (141 GB) sind 2.256 TB VRAM, bleiben gut 500 GB nach den Weights. 16x B200 (192GB) geben 3 B VRAM, also 1.3 TB Reserve nach dem Laden vom Q4-Modell. Das reicht sicher für Kontext und KV-Caches. Für den Betrieb daheim würde man eine Destillation mit 50b-100b (Milliarden, 1e9) Parametern erwarten mit 3B bis 10B aktiven Parametern. Ein 70b-a3b auf 128 GB würde als Q6_K dann etwa 60 GB Weights bringen, als K4_K_M etwa 44 GB oder weniger – bleiben 80 GB für Kontext (vermutlich 128K) und die IDE.
-
@mohs@climatejustice.social 2026-07-24 11:27
@isotopp@infosec.exchange gut bei so mancher Software liegt es vermutlich weniger am Einsatz von KI um schwachstellen zu finden, sondern eher daran, dass überhaupt mal jemand guckt.
-
@bkastl@mastodon.social 2026-07-24 11:29
@isotopp@infosec.exchange puh, so langsam brauche ich ein eigenes Maisfeld. 🌽 🍿
-
@vehtoh@mastodon.social 2026-07-24 11:43
@isotopp@infosec.exchange Wir haben jetzt maschinengenerierten Code, der von Maschinen auf Fehler untersucht wird, um maschinelle Angriffe zu fahren auf maschinell erstellte Inhalte. Klingt, als wäre die Matrix gar nicht für uns gedacht.