Post #4006878

2026-07-22 07:41 UTC

@thomasfricke@23.social OCP Data Center mit dekommissionierter Facebook Technik 1. Generation. Das ist alles freigekühlt, Luft und ohne GPU, also reine CPU und Plattensetups. Freiliegende Busbars (DC 12V, DC 48V) mit Snap in für die Computes, zentrale per-Rack Netzteile. Weil weniger als 50V ist nur funktionale Isolation notwendig. Plattenserver, der kleine Teil vorn ist der Server, der Rest ist Plattentray. Zwei Ex-Facebook-Racks, Vorderseite, nicht voll bestückt. Man sieht die jeweils zentralen Netzteile – weil 1. Generation noch mehrere pro Rack und 12V DC statt eines in der Mitte und 48V DC. Über den Netzteilen dann die Computes. Betonboden, auf dem man voll beladene Racks ohne Probleme rum rollen kann. Racks werden voll bestückt beim Hersteller (zB QCT in Aachen) und dann per Laster mit zwei Tacticals als Sicherheitseskorte angeliefert), vom Laster gerollt und sind dann binnen 15 Minuten betriebsbereit. Das sind dann gerne mal 14 kW oder 21 kW Aircooled. Heute ist alles mit GPU und daher > 100 kW per Rack, und alles mit Wasser im Rack.

Replies (1)

@isotopp@infosec.exchange 2026-07-22 07:50

@thomasfricke@23.social Was passiert hier? Wenn man den AI und GPU Kram mal weg läßt: Web.de 2005: 50x DL360 sind 50 Cores, 50 GBit/s Nets und das sind dann bummelig 2 Rack (eines und ein bischen, um genau zu sein, wenn man nicht thermische und elektrische Constraints hat). Aber in 2015 bei Syseleven.de sind 2 Höheneinheiten dann 48 Cores, und 2x 10 GBit/s oder 2x 25 GBit/s Netz. Man hat also 2 Racks auf 2 HU komprimiert. In 2025 ist das dann eine halbe Blade (100 Cores, und 100 GBIt/s Netz pro Blade). Schon ohne GPU haben wir eine enorme Steigerung der Density als Folge der Steigerung der Transistoranzahl pro Chip, von > 40 nm Strukturen auf 2-3 nm Strukturen und neu, 3D Strukturen auf dem Chip statt flächig zu arbeiten. Und wir haben das Problem nicht zu wissen, was wir mit so viel Transistoren machen sollen: Schon eine 2015er Karre ist durch eine Java oder PHP-Anwendung nicht zu nutzen, wir MÜSSEN also zwingend virtualisieren oder containern. Mit GPU wird das alles noch schlimmer mit der Density: Wir gehen von 10 kW pro Rack auf > 100 kW pro Rack und spätestens ab 14-21 kW muß dann Wasser sind Rack. Das ist alles binnen 20 Jahren passiert. 60 Jahre alte Gebäude von 1960 sollen jetzt also solche Hardware beherbergen. Das geht nicht. Die meisten RZ am Markt stehen groß leer, weil sie für Hyperscaler-Hardware ungeeignet sind, der Betrieb konventioneller Hardware in ihnen nicht kosteneffektiv am Markt machbar ist, und der PUE und die Zuverlässigkeit Dreck sind. Die Erkenntnisse des Eingangsartikels erscheinen mir logisch und zwingend, der Root Cause wird aber nicht offengelegt. Diese bestehenden Facilities sind für zeitgemäße, zuverlässige und energieeffiziente Designs nicht geeignet und Umbau ist teurer als Neubau.

Open ##4007025