Post #4131630

2026-07-27 07:25 UTC

@isotopp@infosec.exchange @beandev@social.tchncs.de @0815@social.tchncs.de Danke, genauso sehe ich das auch. Und klar, dass in der Chaotic Domain oder der Genesis keiner weiß, wie der richtige Weg ist: Wie Training ohne übermäßigen Energieverbrauch funktioniert, wie man legal Wissen scannt (hint: machen wir Menschen auch), wie man dabei Urheberrechte schützt. Ein Paradis für die FOMO-Beratungen, die jetzt mit einer Menge Schlangenöl schlichtweg gut ihre Opfer finden. Ruhe, Geduld & Neugier!

Replies (1)

@isotopp@infosec.exchange 2026-07-27 07:35

@oliverschwarz@indieweb.social @beandev@social.tchncs.de @0815@social.tchncs.de Wir wissen, daß ein Flagship Model, auch mit MoE, gut 1-2 TB Memory braucht. Das MoE hilft Dir nicht bei der Speichergröße, nur bei der Bandwidth. Wir wissen auch, daß eine 100x Verbesserung zugleich Speichergröße und Bandbreite betrifft, und wir sehen zur Zeit 4x oder 8x Verbesserungen, die angeschleppt werden. 3-4 von denen ergeben dann 100x. Wir landen dann auf Flagship Model qualität bei Speichergrößen bei 10-20 GB statt 1-2 TB und bei Speicherbandbreiten in der Gegend von 1/10 DDR5 statt HBM, oder 10x mehr Tok/s. Es ist offensichtlich, daß das alles noch nicht ausentwickelt ist, weil vergleichbare Inferenz in Menschen mit sehr viel weniger Energie bessere Ergebnisse erzielt. Die 100x sind also nicht utopisch. Wir werden also noch einige Zeit links im Cynefin-Framework bleiben.

Open ##4131629