深 ふか い残 ざん 差 さ ネットワークの残 ざん 差 さ ブロック。ここでは、残 ざん 差 さ 接続 せつぞく は2つのレイヤーをスキップする。
残 ざん 差 さ ニューラルネットワーク (別名 べつめい :残 ざん 差 さ ネットワーク、ResNet )は[1] 、ウェイト層 そう が層 そう 入力 にゅうりょく を参照 さんしょう して残 ざん 差 さ 関数 かんすう を学習 がくしゅう する深層 しんそう 学習 がくしゅう モデルである。残 ざん 差 さ ネットワークは、恒等 こうとう 写像 しゃぞう を行 おこな うスキップ接続 せつぞく を持 も つネットワークであり、加算 かさん によってレイヤーの出力 しゅつりょく とマージされる。これは、強 つよ い正 せい のバイアス重 おも みによってゲートが開 ひら く「幹線 かんせん 道路 どうろ ネットワーク」[2] のように振 ふ る舞 ま う。これにより、数 すう 十 じゅう から数 すう 百 ひゃく のレイヤーを持 も つ深層 しんそう モデルを容易 ようい に学習 がくしゅう させることができ、より深 ふか く学習 がくしゅう する際 さい にはより高 たか い精度 せいど に近 ちか づくことができる。同一 どういつ 性 せい スキップ接続 せつぞく は、よく「残 ざん 差 さ 接続 せつぞく 」と呼 よ ばれ、1997年 ねん のLSTM ネットワーク[3] 、トランスフォーマー・モデル(BERT、ChatGPT などのGPTモデルなど)、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムでも使用 しよう されている。
残 ざん 差 さ ネットワークは、何 なに 愷明、張 ちょう 翔 しょう 宇、任 にん 少 しょう 卿 きょう 、孫 まご 剣 けん によって開発 かいはつ され、ImageNet 2015コンペティションで優勝 ゆうしょう した。[4] [5]
2012年 ねん にImageNet用 よう に開発 かいはつ されたAlexNetモデルは、8層 そう の畳 たた み込 こ みニューラルネットワークだった。オックスフォ おっくすふぉ ード大学 どだいがく のVisual Geometry Group(VGG)が2014年 ねん に開発 かいはつ したニューラルネットワークは、3×3の畳 たた み込 こ み層 そう を重 かさ ねることで19層 そう の深 ふか さに近 ちか づいた。[6] しかし、より多 おお くの層 そう を積 つ み重 かさ ねることは、「劣化 れっか 」問題 もんだい と呼 よ ばれる学習 がくしゅう 精度 せいど の速 すみ やかな低下 ていか につながった.[7]
より深 ふか いネットワークが、より浅 あさ いネットワークに余分 よぶん なレイヤーを積 つ み重 かさ ねることで構築 こうちく できるのであれば、より浅 あさ いネットワークよりも学習 がくしゅう 損失 そんしつ が大 おお きくなることはないはずである。もし余分 よぶん な層 そう を同一 どういつ 性 せい マッピングとして設定 せってい できれば、深 ふか いネットワークは浅 あさ いネットワークと同 おな じ機能 きのう を表 あらわ すことになる。オプティマイザは、パラメータ化 か された層 そう に対 たい して同一 どういつ 性 せい マッピングに近 ちか づくことができないという仮説 かせつ が成 な り立 た つ。
多層 たそう ニューラルネットワークモデルでは、ある数 かず (例 たと えば2層 そう や3層 そう )の積層 せきそう 層 そう を持 も つサブネットワークを考 かんが える。このサブネットワークが実行 じっこう する基本 きほん 的 てき な機能 きのう を𝐻 ( 𝑥 ) に定義 ていぎ する。ここで 𝑥 はこのサブネットワークへの入力 にゅうりょく である。残 ざん 差 さ 学習 がくしゅう のアイデアは、このサブネットワークを再 さい パラメータ化 か し、パラメータ層 そう に残 ざん 差 さ 関数 かんすう を表現 ひょうげん させる。𝐹 ( 𝑥 ) := 𝐻 ( 𝑥 ) - 𝑥 . 出力 しゅつりょく 𝑦 は次 つぎ のように表 あらわ される:
y
=
F
(
x
)
+
x
{\displaystyle {\begin{aligned}y&=F(x)+x\end{aligned}}}
同一 どういつ 性 せい マッピングの導入 どうにゅう により、前方 ぜんぽう および後方 こうほう パスでの信号 しんごう 伝播 でんぱ が容易 ようい になる。
[8]
畳 たた み込 こ み残 ざん 差 さ ブロックの2つのバリエーション。左 ひだり :3x3の畳 たた み込 こ み層 そう を2つ持 も つ基本 きほん ブロック。右 みぎ :次元 じげん 削減 さくげん のための1x1畳 たた み込 こ み層 そう (例 たと えば1/4)、3x3畳 たた み込 こ み層 そう 、次元 じげん 復元 ふくげん のためのもう1つの1x1畳 たた み込 こ み層 そう を持 も つボトルネック・ブロック。
事前 じぜん 活性 かっせい 化 か 残 ざん 差 さ ブロック[9] (ResNetV2も呼 よ ばれる)は、残 ざん 差 さ 関数 かんすう を適用 てきよう する前 まえ に活性 かっせい 化 か 関数 かんすう (例 たと えば、非 ひ 直線 ちょくせん 性 せい や正規 せいき 化 か )を適用 てきよう する。正式 せいしき には、前 ぜん 活性 かっせい 化 か 残 ざん 差 さ ブロックの計算 けいさん は次 つぎ のように書 か くことができる:
x
ℓ
+
1
=
F
(
ϕ
(
x
ℓ
)
)
+
x
ℓ
{\displaystyle {\begin{aligned}x_{\ell +1}&=F(\phi (x_{\ell }))+x_{\ell }\end{aligned}}}
ここで 𝜙 は任意 にんい の非 ひ 線型 せんけい 活性 かっせい 化 か (ReLUなど)または正規 せいき 化 か (LayerNormなど)操作 そうさ である。この設計 せっけい により、残 ざん 差 さ ブロック間 あいだ の非 ひ 同一 どういつ マッピングの数 かず を減 へ らすことができる。この設計 せっけい は、200層 そう から1000層 そう 以上 いじょう のモデルの学習 がくしゅう に使用 しよう された。
GPT-2以降 いこう 、Transformer BlocksはPre-activation Blocksとして実装 じっそう されることが主流 しゅりゅう となっています。これは、Transformerモデルの文献 ぶんけん では、しばしば "pre-normalization "と呼 よ ばれています。[10]
最初 さいしょ の GPT モデル で使用 しよう された Transformer アーキテクチャ。トランスフォーマーブロックは、マルチヘッドアテンションブロックとフィードフォワード多層 たそう パーセプトロン(MLP)ブロックの2つの残 ざん 差 さ ブロックから構成 こうせい される。
Transformer ブロックは、2つの残 ざん 差 さ ブロックを積 つ み重 かさ ねたものである。各 かく 残 ざん 差 さ ブロックは残 ざん 差 さ コネクションを持 も つ。最初 さいしょ の残 ざん 差 さ ブロックはマルチヘッドアテンションブロックであり、(自己 じこ )アテンション計算 けいさん の後 のち に線形 せんけい 投影 とうえい を行 おこな う。
2番目 ばんめ の残 ざん 差 さ ブロックはフィードフォワード多層 たそう パーセプトロン(MLP)ブロックである。このブロックは「逆 ぎゃく 」ボトルネックブロックに類似 るいじ しており、次元 じげん を増加 ぞうか させる線形 せんけい 射影 しゃえい 層 そう (これは畳 たた み込 こ みニューラルネットワークの文脈 ぶんみゃく では1x1畳 じょう み込 こ みに相当 そうとう する)と、次元 じげん を減少 げんしょう させるもう1つの線形 せんけい 射影 しゃえい 層 そう を持 も つ。
トランスフォーマーブロックの深 ふか さは4層 そう (直線 ちょくせん 投影 とうえい )です。GPT-3 モデルには96のトランスフォーマー・ブロックがある(トランスフォーマーの文献 ぶんけん では、トランスフォーマー・ブロックはしばしば「トランスフォーマー・レイヤー」と呼 よ ばれる)。このモデルは、トランスフォーマーブロックの96x4層 そう と、入力 にゅうりょく 埋 う め込 こ みと出力 しゅつりょく 予測 よそく のための余分 よぶん な層 そう を含 ふく めて、約 やく 400の投影 とうえい 層 そう の深 ふか さを持 も つ。
非常 ひじょう に深 ふか いトランスフォーマーモデルは、残 ざん 差 さ コネクションなしではうまく学習 がくしゅう できない。[11]
1961年 ねん に出版 しゅっぱん されたFrank Rosenblatt著 ちょ の本 ほん の中 なか で、スキップ接続 せつぞく を持 も つ3層 そう の多層 たそう パーセプトロン(MLP)モデルが紹介 しょうかい されている(第 だい 15章 しょう p313)。このモデルは「交差 こうさ 結合 けつごう システム」と呼 よ ばれ、スキップ結合 けつごう は交差 こうさ 結合 けつごう の一 いち 形態 けいたい である。[12]
最初 さいしょ のResidual Networkの論文 ろんぶん では、生物 せいぶつ 学 がく 的 てき システムに示唆 しさ されたとは主張 しゅちょう していない。しかし、その後 ご の研究 けんきゅう で、Residual Networkは生物 せいぶつ 学 がく 的 てき に妥当 だとう なアルゴリズムと関連 かんれん づけられるようになった。.
[13]
[14]
2023年 ねん に『サイエンス 』誌 し に発表 はっぴょう された研究 けんきゅう で、昆虫 こんちゅう (ミバエの幼虫 ようちゅう )の脳 のう の完全 かんぜん なコネクトーム が公開 こうかい された。この研究 けんきゅう では、ResNetsを含 ふく む人工 じんこう ニューラルネットワークのスキップ接続 せつぞく に似 に た「多層 たそう ショートカット」が発見 はっけん された。[15]
^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (10 December 2015). Deep Residual Learning for Image Recognition . arXiv :1512.03385 。
^ Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (3 May 2015). "Highway Networks". arXiv :1505.00387 [cs.LG ]。
^ Sepp Hochreiter ; Jürgen Schmidhuber (1997). “Long short-term memory” . Neural Computation 9 (8): 1735–1780. doi :10.1162/neco.1997.9.8.1735 . PMID 9377276 . https://www.researchgate.net/publication/13853244 .
^ Deng, Jia; Dong, Wei; Socher, Richard; Li, Li-Jia; Li, Kai; Fei-Fei, Li (2009). “ImageNet: A large-scale hierarchical image database” . CVPR . https://scholar.google.com/citations?view_op=view_citation&hl=en&user=rDfyQnIAAAAJ&citation_for_view=rDfyQnIAAAAJ:qjMakFHDy7sC .
^ “ILSVRC2015 Results ”. image-net.org . Template:Cite web の呼 よ び出 だ しエラー:引数 ひきすう accessdate は必須 ひっす です。
^ Simonyan, Karen; Zisserman, Andrew (2014). "Very Deep Convolutional Networks for Large-Scale Image Recognition". arXiv :1409.1556 [cs.CV ]。
^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv :1502.01852 [cs.CV ]。
^ He, Kaiming; Zhang, Xiangyu. "Identity Mappings in Deep Residual Networks". arXiv :1603.05027 [cs.CV ]。
^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Identity Mappings in Deep Residual Networks". arXiv :1603.05027 [cs.CV ]。
^ Radford (2019年 ねん 2月 がつ 14日 にち ). “Language models are unsupervised multitask learners ”. 2021年 ねん 2月 がつ 6日 にち 時点 じてん のオリジナルよりアーカイブ 。2020年 ねん 12月19日 にち 閲覧 えつらん 。
^ Dong, Yihe; Cordonnier, Jean-Baptiste. "Attention is not all you need: pure attention loses rank doubly exponentially with depth". arXiv :2103.03404 [cs.LG ]。
^ Rosenblatt, Frank (1961). Principles of neurodynamics. perceptrons and the theory of brain mechanisms . https://safari.ethz.ch/digitaltechnik/spring2018/lib/exe/fetch.php?media=neurodynamics1962rosenblatt.pdf#page=327
^
Liao, Qianli; Poggio, Tomaso (2016). Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex .
^
Xiao, Will; Chen, Honglin; Liao, Qianli; Poggio, Tomaso (2018). Biologically-Plausible Learning Algorithms Can Scale to Large Datasets .
^ Winding, Michael; Pedigo, Benjamin; Barnes, Christopher; Patsolic, Heather; Park, Youngser; Kazimiers, Tom; Fushiki, Akira; Andrade, Ingrid et al. (10 Mar 2023). “The connectome of an insect brain” . Science 379 (6636): eadd9330. doi :10.1126/science.add9330 . PMC 7614541 . PMID 36893230 . https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7614541/ .