この記事 きじ カテゴライズ 不十分 ふじゅうぶん 適切 てきせつ 追加 ついか 記事 きじ 内容 ないよう 向上 こうじょう （2023年 ねん 月 がつ ）
この記事 きじ 更新 こうしん 必要 ひつよう この
記事 きじ には
古 ふる い
情報 じょうほう が
掲載 けいさい されています。
編集 へんしゅう の
際 さい に
新 あたら しい
情報 じょうほう を
記事 きじ に
反映 はんえい させてください。
反映 はんえい 後 ご 、このタグは
除去 じょきょ してください。
（2023年 ねん ）
Tensorコア （英 えい Tensor Cores ）はNVIDIA が開発 かいはつ 混合 こんごう 精度 せいど 行列 ぎょうれつ 積 せき 和 わ アクセラレータ である[1] 2017年 ねん 、データセンター 用 よう GPU 「Tesla V100」（Volta世代 せだい 初 はじ 搭載 とうさい Geforce とQuadro にはRTXシリーズ（Turing世代 せだい 初 はじ 搭載 とうさい
高 たか 並列 へいれつ 計算 けいさん 能力 のうりょく 専用 せんよう 処理 しょり GPU は、その並列 へいれつ 計算 けいさん 特性 とくせい 着目 ちゃくもく 現在 げんざい HPC など様々 さまざま 分野 ぶんや 並列 へいれつ 計算 けいさん 機 き 利用 りよう GPGPU ）。用途 ようと 広 ひろ 深層 しんそう 学習 がくしゅう 一部 いちぶ 計算 けいさん 高 たか 数値 すうち 計算 けいさん 精度 せいど 高 たか 演算 えんざん 速度 そくど 求 もと NVIDIA GeForce シリーズをはじめとした様々 さまざま GPU を手掛 てが NVIDIA がこれに応 こた 開発 かいはつ 行列 ぎょうれつ 積 せき 和 わ Tensorコア である[1] [2]
Tensorコアは行列 ぎょうれつ 混合 こんごう 精度 せいど 融合 ゆうごう 積 せき 和 わ 演算 えんざん 特 とく 化 か 機能 きのう 有 ゆう 命令 めいれい 低 てい 精度 せいど 行列 ぎょうれつ 積 せき 高 こう 精度 せいど 加算 かさん 実行 じっこう 例 たと 行列 ぎょうれつ
A
,
B
,
C
{\displaystyle A,B,C}
積 せき 和 わ 演算 えんざん 際 さい 行列 ぎょうれつ 積 せき
B
C
{\displaystyle BC}
A
{\displaystyle A}
専用 せんよう 回路 かいろ 実行 じっこう 命令 めいれい 大量 たいりょう 演算 えんざん 処理 しょり 行列 ぎょうれつ 積 せき 低 てい 精度 せいど 計算 けいさん 負荷 ふか 小 ちい 和 わ 高 こう 精度 せいど 追加 ついか 誤差 ごさ 生 しょう 例 たと NVIDIA A100 GPU では単純 たんじゅん 対 たい 低 てい 精度 せいど 積 せき 使 つか 場合 ばあい 倍 ばい 演算 えんざん 実行 じっこう 混合 こんごう 精度 せいど 行列 ぎょうれつ 機能 きのう
Tensorコアには世代 せだい 世代 せだい 速度 そくど 精度 せいど 異 こと
表 ひょう 世代 せだい 精度 せいど
世代 せだい 対応 たいおう multiply 精度 せいど
accum 精度 せいど
FP64
TF32
FP16
BF16
FP8
INT8
INT4
INT1
FP64
FP32
FP16
INT32
1 (Volta) [3]
-
-
✔
-
-
-
-
-
-
✔
✔
-
2 (Turing) [4]
-
-
✔
-
-
✔
✔
✔
-
✔
✔
3 (Ampere) [5]
✔
✔
✔
✔
-
✔
✔
✔
✔
✔
✔
✔
4 (Hopper) [6] [7]
✔
✔
✔
✔
✔
✔
-
-
✔
✔
✔
✔
TensorFloat-32 （TF32 ）はTensorコアにおける混合 こんごう 精度 せいど [8] [9]
Tensorコアは低 てい 精度 せいど 行列 ぎょうれつ 積 せき 高速 こうそく 実行 じっこう 高速 こうそく 計算 けいさん 入力 にゅうりょく 内部 ないぶ 的 てき 行列 ぎょうれつ 積 せき 高速 こうそく 計算 けいさん 最終 さいしゅう 的 てき 加算 かさん 内部 ないぶ 低 てい 精度 せいど 高速 こうそく [10]
低 てい 精度 せいど 行列 ぎょうれつ 積 せき 程度 ていど 計算 けいさん 誤差 ごさ 不可避 ふかひ 従来 じゅうらい 用 もち 演算 えんざん 混合 こんごう 精度 せいど 計算 けいさん 悪影響 あくえいきょう 最低限 さいていげん 抑 おさ 自動 じどう 混同 こんどう 精度 せいど 機能 きのう 最低限 さいていげん 変更 へんこう 実行 じっこう 可能 かのう 計算 けいさん 誤差 ごさ 推論 すいろん 精度 せいど 大 おお 影響 えいきょう 一部 いちぶ 最低限 さいていげん 変更 へんこう 必須 ひっす
TF32は 1bit の符号 ふごう 指数 しすう 指数 しすう 仮数 かすう 仮数 かすう 表現 ひょうげん 利用 りよう 比 くら 精度 せいど 低下 ていか 更 さら 軽減 けいげん 内部 ないぶ 外部 がいぶ 的 てき 実行 じっこう 見 み 変更 へんこう 一切 いっさい 必要 ひつよう 最低限 さいていげん 精度 せいど 低下 ていか 変更 へんこう 数 すう 倍 ばい 演算 えんざん 効率 こうりつ 得 え 内部 ないぶ 精度 せいど 変更 へんこう 量 りょう 例 れい 使用 しよう 量 りょう 減少 げんしょう 等 とう 表現 ひょうげん 高速 こうそく 処理 しょり 高速 こうそく 化 か 特 とく 化 か 機能 きのう 一種 いっしゅ [9]
^ a b "Tensor Cores enable mixed-precision computing, dynamically adapting calculations to accelerate throughput while preserving accuracy." NVIDIA. NVIDIA Tensor Cores 閲覧 えつらん
^ "Tensor Cores are specialized high-performance compute cores for matrix math operations that provide groundbreaking performance for AI and HPC applications. " NVIDIA. NVIDIA A100 Tensor Core GPU Architecture 閲覧 えつらん
^ "FP16 precision introduced on the Volta Tensor Core ... Volta GPU ... Results are accumulated into FP32 for mixed precision training or FP16 for inference." NVIDIA. NVIDIA A100 Tensor Core GPU Architecture 閲覧 えつらん
^ "the INT8, INT4 and binary 1-bit precisions added in the Turing Tensor Core" NVIDIA. NVIDIA A100 Tensor Core GPU Architecture 閲覧 えつらん
^ "In addition to FP16 precision ... INT8, INT4 and binary 1-bit precisions ... the A100 Tensor Core adds support for TF32, BF16 and FP64 formats" NVIDIA. NVIDIA A100 Tensor Core GPU Architecture 閲覧 えつらん
^ "NVIDIA H100 GPU ... New fourth-generation Tensor Cores" NVIDIA. NVIDIA H100 Tensor Core GPU Architecture 閲覧 えつらん
^ "FP8, FP16, BF16, TF32, FP64, and INT8 MMA data types are supported." NVIDIA. NVIDIA H100 Tensor Core GPU Architecture 閲覧 えつらん
^ "TF32 is a new compute mode added to Tensor Cores in the Ampere generation of GPU architecture." NVIDIA Developer. Accelerating AI Training with NVIDIA TF32 Tensor Cores 閲覧 えつらん
^ a b "TF32 is only exposed as a Tensor Core operation mode, not a type." NVIDIA Developer. Accelerating AI Training with NVIDIA TF32 Tensor Cores 閲覧 えつらん
^ "All storage in memory and other operations remain completely in FP32, only convolutions and matrix-multiplications convert their inputs to TF32 right before multiplication." NVIDIA Developer. Accelerating AI Training with NVIDIA TF32 Tensor Cores 閲覧 えつらん
