テンサー・プロセッシング・ユニット

テンサー・プロセッシング・ユニット^[1]^[2]（Tensor processing unit、TPU）はGoogleが開発かいはつした機械きかい学習がくしゅうに特とく化かした特定とくてい用途ようと向むけ集積しゅうせき回路かいろ(ASIC)。グラフィック・プロセッシング・ユニット(GPU)と比較ひかくして、ワットあたりのIOPSをより高たかくするために、意図いと的てきに計算けいさん精度せいどを犠牲ぎせいに（8ビットの精度せいど^[3]）した設計せっけいとなっており、ラスタライズ/テクスチャマッピングのためのハードウェアを欠かいている^[4] 。チップはGoogleのテンソルフローフレームワーク専用せんように設計せっけいされているがGoogleはまだ他たのタイプの機械きかい学習がくしゅうにCPUとGPUを使用しようしている^[5] 。他たのAIアクセラレータの設計せっけいも他たのベンダーからも登場とうじょうしており、組くみ込こみやロボット市場いちばをターゲットとしている。

Googleは同社どうしゃ独自どくじのTPUは囲碁いごの人間にんげん対たい機械きかいシリーズのAlphaGo対たい李り世よドル戦せんで使用しようされたと述のべた^[4]。GoogleはTPUをGoogleストリートビューのテキスト処理しょりに使つかっており、5日にち以内いないにストリートビューのデータベースの全すべてのテキストを見みつけることができる。Googleフォトでは個々ここのTPUは1日にちに1億おく枚まい以上いじょうの写真しゃしんを処理しょりできる。TPUはGoogleが検索けんさく結果けっかを提供ていきょうするために使つかう「RankBrain」においても使用しようされている^[6] 。TPUは2016年ねんのGoogle I/Oで発表はっぴょうされたが、GoogleはTPUは自社じしゃのデータセンター内ないで1年ねん以上いじょう前まえから使用しようされていると述のべた^[5]^[4]。

Googleの著名ちょめいハードウェアエンジニアのNorm Jouppiによると、TPU ASICはヒートシンクが備そなえ付つけられており、データセンターのラック内うちのハードドライブスロットに収おさまるとされている^[5]^[7]。2017年ねん時点じてんでTPUはGPUTesla K80やCPUXeon E5-2699 v3よりも15～30倍ばい高速こうそくで、30～80倍ばいエネルギー効率こうりつが高たかい^[8]^[9]。

アーキテクチャ

第だい1世代せだい

第だい1世代せだいのTPUは、PCIe 3.0バスを介かいしてホストCPUからのCISC命令めいれいで動作どうさする8ビット行列ぎょうれつ乗算じょうざんエンジンである。TPUは28 nmプロセスで製造せいぞうされ、正確せいかくなダイサイズは不明ふめいであるがHaswellの半分はんぶん未満みまんとされていることから最大さいだいで331 mm²である^[10]。クロックスピードは700 MHzであり、熱ねつ設計せっけい電力でんりょく(消費しょうひ電力でんりょく)は28～40Wである。TPUは28 MiBのチップメモリーと65536個この8ビット積せき和わ演算えんざん器きの結果けっかを取とる4 MiBの32ビットアキュムレーターを有ゆうしている。命令めいれいはホストとのデータ送受信そうじゅしん、行列ぎょうれつの乗算じょうざんまたは畳たたみ込こみ、活性かっせい化か関数かんすうの適用てきようを実行じっこうする^[11]。

第だい2世代せだい

第だい2世代せだいのTPUは2017年ねん5月がつに発表はっぴょうされた^[12] 。個々ここのTPU ASICは45テラFLOPSであり、4チップ(1台だい)で合計ごうけい180テラFLOPSモジュールとなる。これらのモジュールは256チップ(64台だい)組くみ合あわせると11.5 PFLOPSのパフォーマンスを発揮はっきする^[13]。とりわけ第だい1世代せだいのTPUは整数せいすうに限定げんていされている一方いっぽうで第だい2世代せだいのTPUは浮動ふどう小数点しょうすうてん演算えんざんが可能かのうである^[14]ので、機械きかい学習がくしゅうモデルの訓練くんれんと推論すいろんの両方りょうほうに役立やくだつ。Googleはテンソルフローアプリでの使用しようのために「Google Computeエンジン」で第だい2世代せだいのTPUが利用りようできるようになると述のべた^[15]。

第だい3世代せだい

第だい3世代せだいのTPUは2018年ねん5月がつに発表はっぴょうされた。発表はっぴょう内容ないようは、1ユニットあたりの計算けいさん性能せいのうが100ペタFLOPSであり、冷却れいきゃくが液体えきたい冷却れいきゃくであることのみであった。

参考さんこう文献ぶんけん

[脚注きゃくちゅうの使つかい方かた]

^ “AI半導体はんどうたい｢エヌビディア｣は何なにがスゴいのか”. 東洋とうよう経済けいざいオンライン (2017年ねん12月19日にち). 2024年ねん8月がつ6日にち閲覧えつらん。
^ Cherney, Max A.「アップル、ＡＩモデル訓練くんれんにグーグルの技術ぎじゅつも利用りよう」『Reuters』2024年ねん6月がつ12日にち。2024年ねん8月がつ6日にち閲覧えつらん。
^ “Google's Big Chip Unveil For Machine Learning: Tensor Processing Unit With 10x Better Efficiency (Updated)” (2016年ねん5月がつ19日にち). 2016年ねん6月がつ26日にち閲覧えつらん。
^ ^a ^b ^c “Google supercharges machine learning tasks with TPU custom chip” (英語えいご). Google (May 18, 2016). 2017年ねん1月がつ22日にち閲覧えつらん。
^ ^a ^b ^c “Google's Tensor Processing Unit explained: this is what the future of computing looks like” (英語えいご). TechRadar 2017年ねん1月がつ19日にち閲覧えつらん。
^ “Google's Tensor Processing Unit could advance Moore's Law 7 years into the future” (英語えいご). PCWorld 2017年ねん1月がつ19日にち閲覧えつらん。
^ 米べいGoogleが深層しんそう学習がくしゅう専用せんようプロセッサ「TPU」公表こうひょう、「性能せいのうはGPUの10倍ばい」と主張しゅちょう日経にっけいコンピュータDigital
^ Google、AIチップ「TPU」はGPUより30倍ばい速はやい
^ Jouppi, Norman P., et al. "In-datacenter performance analysis of a tensor processing unit." 2017 ACM/IEEE 44th Annual International Symposium on Computer Architecture (ISCA). IEEE, 2017.
^ GoogleのAI開発かいはつを支ささえるディープラーニング専用せんようプロセッサ「TPU」 - ISCA論文ろんぶんレビュー版ばんから、その仕組しくみを読よみ解とくマイナビニュース
^ "In-Datacentre Performance Analysis of a Tensor Processing Unit". {{cite web}}: Cite webテンプレートでは|access-date=引数ひきすうが必須ひっすです。 (説明せつめい)
^ “Google brings 45 teraflops tensor flow processors to its compute cloud”. Ars Technica. (17 May 2017) 30 May 2017閲覧えつらん。
^ Googleの機械きかい学習がくしゅうマシン「TPU」の第だい2世代せだい登場とうじょう、1ボード180TFLOPSで64台だいグリッドでは11.5PFLOPSに到達とうたつ GIGAZINE
^ Googleが第だい2世代せだいTPUを発表はっぴょう、処理しょり性能せいのうは180TFLOPS EE Times Japan
^ “Google Cloud TPU Details Revealed”. Serve The Home. (17 May 2017) 30 May 2017閲覧えつらん。

[1] “AI半導体はんどうたい｢エヌビディア｣は何なにがスゴいのか”. 東洋とうよう経済けいざいオンライン (2017年ねん12月19日にち). 2024年ねん8月がつ6日にち閲覧えつらん。

[2] Cherney, Max A.「アップル、ＡＩモデル訓練くんれんにグーグルの技術ぎじゅつも利用りよう」『Reuters』2024年ねん6月がつ12日にち。2024年ねん8月がつ6日にち閲覧えつらん。

[3] “Google's Big Chip Unveil For Machine Learning: Tensor Processing Unit With 10x Better Efficiency (Updated)” (2016年ねん5月がつ19日にち). 2016年ねん6月がつ26日にち閲覧えつらん。

[GCP_blog_2016-4] “Google supercharges machine learning tasks with TPU custom chip” (英語えいご). Google (May 18, 2016). 2017年ねん1月がつ22日にち閲覧えつらん。

[:0-5] “Google's Tensor Processing Unit explained: this is what the future of computing looks like” (英語えいご). TechRadar 2017年ねん1月がつ19日にち閲覧えつらん。

[6] “Google's Tensor Processing Unit could advance Moore's Law 7 years into the future” (英語えいご). PCWorld 2017年ねん1月がつ19日にち閲覧えつらん。

[7] 米べいGoogleが深層しんそう学習がくしゅう専用せんようプロセッサ「TPU」公表こうひょう、「性能せいのうはGPUの10倍ばい」と主張しゅちょう日経にっけいコンピュータDigital

[8] Google、AIチップ「TPU」はGPUより30倍ばい速はやい

[9] Jouppi, Norman P., et al. "In-datacenter performance analysis of a tensor processing unit." 2017 ACM/IEEE 44th Annual International Symposium on Computer Architecture (ISCA). IEEE, 2017.

[10] GoogleのAI開発かいはつを支ささえるディープラーニング専用せんようプロセッサ「TPU」 - ISCA論文ろんぶんレビュー版ばんから、その仕組しくみを読よみ解とくマイナビニュース

[11] "In-Datacentre Performance Analysis of a Tensor Processing Unit". {{cite web}}: Cite webテンプレートでは|access-date=引数ひきすうが必須ひっすです。 (説明せつめい)

[12] “Google brings 45 teraflops tensor flow processors to its compute cloud”. Ars Technica. (17 May 2017) 30 May 2017閲覧えつらん。

[13] Googleの機械きかい学習がくしゅうマシン「TPU」の第だい2世代せだい登場とうじょう、1ボード180TFLOPSで64台だいグリッドでは11.5PFLOPSに到達とうたつ GIGAZINE

[14] Googleが第だい2世代せだいTPUを発表はっぴょう、処理しょり性能せいのうは180TFLOPS EE Times Japan

[15] “Google Cloud TPU Details Revealed”. Serve The Home. (17 May 2017) 30 May 2017閲覧えつらん。

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]