Kompakt informieren
Der neue DGX-2-Superrechner beim DFKI benötigt eine besonders leistungsfähige und präzise Klimatisierung.
Basis des Konzepts sind zwei wassergekühlte Klimaschränke mit Direktverdampfung und Vollinvertertechnologie sowie Free-Cooling-Funktion von RC IT Cooling.
Geräuschoptimierte EC-Hochleistungsventilatoren sorgen für einen geregelten Luftstrom, der über eine vollständige Kaltgangeinhausung erfolgt.
Großzügig ausgelegte Rückkühler im Außenbereich mit niedrigen Ventilatordrehzahlen reduzieren die Schallleistung auf ein Minimum.
Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) (1) in Kaiserslautern ist auf dem Gebiet innovativer Softwaretechnologien auf der Basis von Methoden der Künstlichen Intelligenz die führende wirtschaftsnahe Forschungseinrichtung in Deutschland. Das Kompetenzzentrum Deep Learning konzentriert seine Forschung auf Deep-Learning- und Machine-Learning-Algorithmen.
Um die einzigartige Infrastruktur von der Grundlagenforschung bis zum industriellen Wissenstransfer weiter auszubauen, erhält das DFKI als erste Institution in Europa einen Nvidia-DGX-2-Supercomputer (2), der als die derzeit leistungsfähigste Rechenmaschine der Welt für moderne KI-Verfahren gilt. Unter anderem gehört zu den Forschungsarbeiten die Analyse von Satellitenbildern zur Erkennung und Erfassung der Auswirkungen von Naturkatastrophen.
Der KI-Supercomputer mit einer Leistung von 2 PetaFlops basiert auf einer KI-Netzwerkstruktur, die einen Durchsatz von 2,5 TB pro Sekunde liefert. Die Netzwerkstruktur der DGX-2 integriert 16 „Nvidia Tesla V100 Tensor Core GPUs“, die über Nvidia NVSwitch verbunden sind. Die innovative Technologie bietet eine 12-fache Verbesserung gegenüber den Vorgängergenerationen und eine 5-mal schnellere Realisierung von Lösungen. Dadurch werden flexible Netzwerkoptionen für den Aufbau sehr umfangreicher Deep-Learning-Rechen-Cluster in Kombination mit einer Skalierung der Virtualisierungsgeschwindigkeit und einer Optimierung der Benutzer- und Workloadisolation in gemeinsamen Infrastrukturumgebungen möglich. Auch wenn man mit den Spezifikationen nicht so bewandert ist – man ahnt zu Recht, dass sie mit hohen Anforderungen an die IT-Kühlung einhergehen.
Bild: Mitsubishi Electric
Bild: Mitsubishi Electric
Bild: Mitsubishi Electric
Extrem hohe Rechenleistung auf sehr kleinem Raum
Der neue Superrechner arbeitet am Cluster zusammen mit drei DGX-1-Computern (jeweils 1 PetaFlop Rechenleistung) sowie aktuell achtzehn weiteren hochintegrierten GPU-Computern. Er steht in einem eigens dafür geschaffenen Serverraum im Tiefgeschoss der Hauptniederlassung in der Forschungsmeile in Kaiserslautern. Für den Betrieb, der unter anderem allein für diesen Superrechner einen 1,75-Petabyte großen Datenspeicher (4) umfasst, in dem unter anderem mehr als 100 Mio. Bilder als Trainingsdaten für den Computer-Cluster gespeichert sind, ist eine Mittelspannungsversorgung von 0,25 MW installiert.
Die extrem hohe Rechenleistung auf sehr kleinem Raum führt zu einem deutlichen Wachstum der spezifischen Wärmelasten und zu erhöhten Anforderungen an die IT-Kühlung. Um die Superrechner zu kühlen, benötigt das DFKI eine intelligente IT-Klimatisierung, die die vielfältigen Anforderungen an eine präzise, zuverlässige, energiesparende und schallreduzierte Kühlung des DGX-2 und der anderen Computer gewährleistet.
Die Hauptanforderung für die Klimatisierung ist eine hohe Kälteleistung auf sehr kleinem Raum mit einem vergleichsweise geringen Energieeinsatz unterzubringen. Des Weiteren sind durch die Lärmschutzvorschriften enge Grenzen gesetzt, um die umliegenden Anwohner nicht durch Geräusche von im Freien aufgestellten Komponenten zu stören.
Hinzu kommt, dass die Kühlung einen hohen Anteil des Energieverbrauchs im neuen Rechenzentrum ausmacht. Das Gesamtkonzept wurde deshalb auch mit Blick auf eine dauerhaft wirtschaftliche Betriebsweise, d. h. möglichst geringem Stromverbrauch, umgesetzt. Um die vielfältigen Anforderungen an die Kühlung des DGX-2 zu gewährleisten, musste ein bis ins Kleinste durchdachtes Klimatisierungskonzept mit energieeffizienten und leistungsstarken Systemlösungen zur IT-Kühlung erstellt werden.
Zwei 100-kW-Klimaschränke
Das Konzept für die IT-Kühlung wurde vom Planungsbüro S2 Sappok & Stutterich, Pirmasens, unter Mitwirkung von Walter Sommer, Leiter der Infrastrukturgruppe am DFKI in Kaiserslautern erstellt. Einen wesentlichen Teil des Konzepts bilden Lösungen von RC IT Cooling, einer Marke von Mitsubishi Electric, mit zwei Präzisionsklimaschränken vom Typ i-NEXT FC DW (3).
Die wassergekühlten Klimaschränke mit Direktverdampfung und Vollinvertertechnologie sowie Free-Cooling-Funktion haben jeweils eine Leistung von 100 kW. Für die Freikühlfunktion und die Rückkühlung stehen zwei Rückkühler in Ultra-leise-Ausführung mit jeweils 120 kW zur Verfügung. Der redundante Aufbau solcher Anlagen ist die übliche Vorgehensweise, um die Betriebssicherheit zu gewährleisten. Zudem findet ein automatischer Betriebsstundenabgleich der beiden Klimaschränke im Wochenrhythmus statt.
Die i-NEXT-Serie von RC IT Cooling ist speziell für die Präzisionsklimatisierung von Servern und IT-Räumen entwickelt worden und bietet ein optimales Verhältnis von Leistung zu Standfläche. Sie ermöglichen eine präzise Temperatur- und Feuchteregelung sowie eine Be- und Entfeuchtung. Energiesparende und geräuschoptimierte EC-Hochleistungsventilatoren sorgen für einen geregelten Luftstrom. Die Ventilatoren passen sich der thermischen Belastung an, die durch Sensoren im Warm- und Kaltgang erfasst wird. Der Regler evolution+ steuert die Aktivierungszeiten der Verdichter mit FIFO-Logik (First In – First Out) und passt die erzeugte Kälteleistung an den momentanen Wärmeeinfall an. Zudem besteht die Möglichkeit, alle Daten an ein übergeordnetes Überwachungs- und Fernwartungssystem zu übertragen.
Bild: Mitsubishi Electric
Thermisches Energiemanagement
Die beiden Klimaschränke sind jeweils links und rechts an den Stirnseiten des Serverraums aufgestellt (5). In der Mitte mit einem umlaufenden Gang befinden sich fünf Racks mit dem neuen Rechner und seinen peripheren IT-Komponenten. Um eine optimale und energieeffiziente Kühlung zu ermöglichen, ist die Serverklimatisierung nach dem Down-Flow-Prinzip gestaltet. Während die Luftansaugung von oben in den Klimaschrank erfolgt, findet der Luftauslass nach unten in einen Doppelboden statt. Durch Auslassöffnungen im Doppelboden, die sich an der Vorderseite der Racks befinden (6), wird eine optimale Luftverteilung im Rechenzentrum erreicht. Auf diese Weise wird auf der Luftansaugseite der Racks ein Kaltgang gebildet.
Die Racks saugen die kalte Luft an und blasen auf der Rückseite die warme Luft in den sogenannten Warmgang, die dann wiederum von dem jeweils in Betrieb befindlichen Klimaschrank angesaugt und gekühlt wird. Die Entscheidung für eine Gangeinhausung, ist bei diesem Projekt zugunsten einer Kaltgangeinhausung zur präzisen Lenkung der den Servern zugeführten Kaltluft getroffen worden. Durch den Warm- und Kaltgang sowie den angepassten Luftstrom kann eine konstante Temperatur gewährleistet werden. Die Arbeitsbedingungen werden stabiler und die Effizienz der gesamten Klimatisierung steigt.
Einen Großteil der Betriebszeit arbeitet der Präzisionsklimaschrank im Hybrid- oder im vollständigen Freikühlbetrieb. Im Regelbetrieb erfolgt zunächst die Kühlung mit Wasser über die Freikühlfunktion. Übersteigen die Wärmelasten einen bestimmten Referenzpunkt, kommt ein Kompressor hinzu und kühlt die angesaugte Luft mittels eines Kältemittelkreislaufs zusätzlich. Steigen die Kälteanforderungen über einen weiteren Temperaturreferenzwert hinaus, schaltet sich der zweite Kompressor im Klimaschrank hinzu, um das vom Hersteller geforderte Temperaturniveau von 21 °C am neuen Superrechner sicherzustellen.
Bild: Mitsubishi Electric
Minimale Schallemissionen im Umfeld
Die sehr großzügig ausgelegten Rückkühler führen zur Erfüllung der vierten wichtigen Anforderung bei diesem Projekt. Die Minimierung der Schallleistung konnte durch die Innenaufstellung der Klimaschränke mit EC-Ventilatoren, Inverter-Kompressortechnik und Pumpenstation erreicht werden.
Die Rückkühler im Außenbereich (7) haben großzügig ausgelegte Wärmeübertragerflächen und größer dimensionierte Ventilatoren als in der Standardausführung. Dadurch werden wesentlich geringere Drehzahlen mit dem Ergebnis einer Schallleistung von maximal 35 dB(A) in 1 m Entfernung erzielt.
Bild: Mitsubishi Electric
Bild: Schellhorn PR
