![](https://special.nikkeibp.co.jp/atclh/NXT/24/delltechnologies0607/h2bg.png)
データセンター消費電力の43%を占める冷却と電源
デル・テクノロジーズ株式会社
執行役員
データセンター ソリューションズ事業統括
製品本部長
上原 宏氏
DX(デジタル・トランスフォーメーション)の進展に伴い、データセンターやクラウド内のサーバー数が増加し、各サーバーの処理能力も飛躍的に向上した。生成AIの利用拡大も、その流れに拍車をかけている。しかしその一方で、新たな課題も浮き彫りになった。それはサーバー消費電力の急増である。人類が生存し続けられる地球環境を維持するには、消費電力をいかに抑えるかは喫緊の課題だといえるだろう。
「性能向上とサステナビリティをいかに両立させるか。この実現には、設計そのものから変えていかなければなりません。そのためにデル・テクノロジーズは、標準の冷却ファンに加えた高速ファンの投入、ヒートシンクの高性能化、エアフローの観点からのシステムボードの見直しなどによる、『マルチベクタークーリング 2.0』を採用しています」とデル・テクノロジーズの上原 宏氏は語る。
またサーバーに実装する温度センサーも7割増やし、ファンとシステムの電力を最適化。これらの最新技術でエネルギー効率を高めることで、環境評価システム「EPEAT(イーピート)」のシルバー/ブロンズ認定や、国際エネルギースタープログラム「ENEGY STAR」の認定を受けているという。
ただしデータセンター全体の消費電力増加を抑えていくためには、さらに大きな変革が必要となる。それが「新たな冷却手法の開発・実装だ」と上原氏は話す。
「これまでの冷却手法の主流は、空調で冷やされた空気でCPUやGPUを冷却する『空冷方式』でした。その後、空気中への放熱を効率化するための『水冷方式』も登場しましたが、これらに共通する『空気で冷やす』というアプローチでは、排熱効果に限界があります。そこでいま進んでいるのが、『液浸(Immersion Cooling)』という冷却方式の研究・開発なのです」
液浸冷却とは、電気を通さない「絶縁性のある不活性の液体」の中にサーバー全体を浸し、この液体によってサーバーを冷却するというもの。既に日本国内でも実証実験が進められている。その取り組みについて説明したのが、上原氏の次に登壇した、KDDIの北山 真太郎氏だ。
KDDI株式会社
プラットフォーム技術部
コアスタッフ
北山 真太郎氏
「KDDIグループは、かけがえのない地球を次の世代に引き継ぐことができるよう、地球環境保護を推進することがグローバル企業としての重要な責務であるととらえ、サステナビリティに取り組んでいます。具体的には、KDDIのCO2の実質的な排出量を2030年までゼロにする『KDDI GREEN PLAN 2030』という長期計画を推進しています。その中で課題の1つとなっているのが、データセンターにおける冷却の消費電力です。実際に、我々のプロジェクトでは、データセンターにおける消費電力の約43%は、データセンターの冷却と機器冷却の電源で消費されていると試算しています」(北山氏)
この冷却消費電力を低減するためのブレークスルーとなるのが、液浸冷却技術だ。液浸冷却技術によりデータセンター冷却の消費電力の削減ができる。さらに、現在の汎用サーバーに採用されている空冷方式では、空気の流れをつくるための冷却ファンだけでも、IT機器に必要な電力の10~20%を消費してしまう。この冷却システムの消費電力を削減すれば、必要となる給電能力も抑制できるため、機器冷却のための消費電力も削減可能となるという。
![](https://special.nikkeibp.co.jp/atclh/NXT/24/delltechnologies0607/h2bg.png)
液浸化のための4つの対策と商用化に向けた取り組み
既にKDDIでは2020年にフェーズ1として、台湾の工業技術研究院(ITRI)と共に液浸冷却を採用したコンテナ型データセンターを試作。その翌年にはフェーズ2として、三菱重工の「Yokohama Hardtech Hub」において、コンテナ型データセンターの実証実験を行った。そして2022年に始まったフェーズ3では商用導入を見据え、デル・テクノロジーズを含めた21社が合同で運用体制を確立。その中で、KDDIの小山ネットワークセンターにおける実証実験が進められてきた。
それではこの実証実験では具体的に、どのようなことが行われているのか。北山氏は次のように説明する。
「私たちが行っているのは液浸専用サーバーの開発ではなく、Dell PowerEdgeサーバーのような汎用サーバーをカスタマイズし、液浸化対応するというものです。そのためにまず、基本的な4つの対策を施しています」
1つ目は、液浸対応の前提となる、冷却用ファンの取り外しだ。これだけでも前述のように、サーバーの消費電力を10~20%削減と試算している。これに伴い、ファームウエアの改修も行われている。また、空冷サーバーは20~40℃といった、空調システムが提供する温度の範囲内で稼働するように設計されており、温度センサーによってそれを超える温度が検出された際には、加熱防止機能が動作するようになっている。これに対して液浸サーバーでは、高い冷却効率から50℃近くの温度でも冷やすことが可能であるため、ファームウエア改修により温度閾値を上げる改修を行っている。稼働可能な温度が高くなれば、それだけ冷却に必要なエネルギーも少なくなる。
2つ目は、CPUとヒートシンクを密着させているグリス成分の変更だ。液浸冷却では「冷却油」にサーバーを浸すことになるが、通常のグリスでは冷却油に溶け出してしまうからだ。
3つ目は、冷却油に対する「耐油性」を持つケーブルやサーバーラベルなどを可能な限り選定して導入している。そして最後の4つ目が、液浸対応の光ケーブルの活用だ。「空冷サーバーで使われている光ケーブルを冷却油の中に入れてしまうと、光路に冷却油が侵入し、リンクアップしないという問題が発生します。そこでプラスチック素材を充填し、光路への冷却油侵入を防止しています」(北山氏)。
ファンを取り外すだけではなく、サーバーを構成する部品や素材も、冷却油に浸すことを前提に選定し直す必要があった
これらの対策に加えて、商用化を視野に入れたいくつかの取り組みも行われている。
その1つが、ケーブル実装方式の改善だ。空冷サーバーの場合、ラックへの格納は水平方向に行うが、液浸サーバーでは冷却油を満たした液浸システムにサーバーを格納する必要があるため、上から格納する必要がある。
つまりラックを横に倒して上からのみアプローチする、といった形にならざるを得ない。サーバーの格納方法が変われば当然ながら、ケーブリングの方法も改めて考え直す必要が生じる。サーバーを液浸システムから出し入れする際に、邪魔にならないように配線することが求められるからだ。そのために、液浸システムの上部にサーバーと平行になるようケーブルハルタ(ケーブル類をまとめるための収束器具)を設置、ケーブル種別ごとに配線干渉しないようにケーブルガイドパネルも準備された。また、ケーブルの終端の接続先を識別するケーブルラベルなども冷却油が触れても識別に支障がないような工夫も行っている。
液浸システムに上からサーバーを実装するために、ケーブル実装方式も再検討された。ケーブル類をまとめるケーブルハルタも、専用のものが新たに追加されている
またメンテナンスを考えれば、液浸システムから取り出してサーバー単体の動作確認を行うための仕組みも求められる。そのために、動作確認を一時的に可能にする「簡易液槽環境」を用意されている。
さらに、液浸システムの動作状況の確認や異常検知のための監視システムも欠かせない。そのために、遠隔操作が可能な統合管理システムも実現した。
これらに加え、液浸利用したサーバーを、元の空冷サーバーに戻すための手順も策定された。液浸利用したサーバーには冷却油が付着しているが、これを洗浄油で洗浄し、冷却ファンの再取り付けや空冷使用のPSUへの交換、通電確認、サーバーOSの起動確認までを、明確化しているわけだ。
![](https://special.nikkeibp.co.jp/atclh/NXT/24/delltechnologies0607/h2bg.png)
液浸システムの普及における「3つの律速条件」
「これまでの実証実験を通じて、いくつかの知見を得ることができました」と北山氏。講演ではその中から、2つが紹介された。
1つは、液浸冷却に適したヒートシンクの設計である。「通常の空冷ヒートシンクでは、フィンピッチ1.6mm、フィン厚0.3mmが最適だとされています。しかしこれをそのまま液浸システムで使用すると、冷却油の流速が空気と異なるため、熱溜まりが発生することが分かりました。そこで複数のフィンピッチ/フィン厚でシミュレーションを行った結果、液浸下ではフィンピッチ3.5mm、フィン厚0.8mmが最適だと判明、これによって冷却効率を1.24倍に高めています」。
空気と冷却油では流速が異なるため、CPUヒートシンクの形状も変える必要がある
もう1つは、「液浸システムに適した冷却油の素材」だ。サーバー内部には、接着剤やPVC(ポリ塩化ビニル)、EPDM(エチレンプロピレンジエンゴム)が使われているが、これらと相性の悪い冷却油も少なくない。そこで代表的な19種類の冷却油をリストアップし、これらの素材を実際に浸すことで、それぞれの相性を検証。長期的な運用を見据えた際に、使うべきではない冷却油の基礎データが収集できたという。
「私たちは商用利用を見据えてこれらの実証実験を進めていますが、実際の液浸システムの普及には3つも条件が存在すると考えています。第1はニーズの拡大と汎用化、第2はAI/5GなどのIT高度化に伴う冷却要求の高まり、そして第3が運用改善と保守体制の整備です。第3の条件に関しては、液浸システムをメンテナンスできる人材の育成や、液浸利用したパーツの廃棄や再利用といった問題も解決しなければなりません。これら3つの要素が成熟するとともに、環境保護・省電力への要求が外部要因としてさらに高まることで、液浸システムの普及が進むのではないでしょうか」(北山氏)
なお実証実験で使われているような液浸システムソリューションは、デル・テクノロジーズが東京・大手町本社に開設した「液浸冷却ラボ」でも、デモンストレーションを見ることが可能だ。「実際に実証実験のシステムを見学した時には、Dell PowerEdgeが冷却液から引き上げられて洗浄されている様子を見て、まるで海から引き上げられたようで感動しました。ぜひ多くの人に見学していただきたい」と上原氏は話す。
当日は、PCを使った液浸システムのデモ機も展示され、来場者の関心を集めていた
液浸システムが実際のデータセンターに実装されれば、消費電力低減に大きな効果を発揮し、サステナビリティにも貢献することになるだろう。今後もこのイノベーションの動向に着目したい。