残ざん差さネットワーク

深ふかい残ざん差さネットワークの残ざん差さブロック。ここでは、残ざん差さ接続せつぞくは2つのレイヤーをスキップする。

残ざん差さニューラルネットワーク（別名べつめい：残ざん差さネットワーク、ResNet）は、ウェイト層そうが層そう入力にゅうりょくを参照さんしょうして残ざん差さ関数かんすうを学習がくしゅうする深層しんそう学習がくしゅうモデルである。残ざん差さネットワークは、恒等こうとう写像しゃぞうを行おこなうスキップ接続せつぞくを持もつネットワークであり、加算かさんによってレイヤーの出力しゅつりょくとマージされる。これは、強つよい正せいのバイアス重おもみによってゲートが開ひらく「幹線かんせん道路どうろネットワーク」のように振ふる舞まう。これにより、数すう十じゅうから数すう百ひゃくのレイヤーを持もつ深層しんそうモデルを容易よういに学習がくしゅうさせることができ、より深ふかく学習がくしゅうする際さいにはより高たかい精度せいどに近ちかづくことができる。同一どういつ性せいスキップ接続せつぞくは、よく「残ざん差さ接続せつぞく」と呼よばれ、1997年ねんのLSTMネットワーク、トランスフォーマー・モデル（BERT、ChatGPTなどのGPTモデルなど）、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムでも使用しようされている。

残ざん差さネットワークは、何なに愷明、張ちょう翔しょう宇、任にん少しょう卿きょう、孫まご剣けんによって開発かいはつされ、ImageNet 2015コンペティションで優勝ゆうしょうした。

公式こうしき化か

背景はいけい

2012年ねんにImageNet用ように開発かいはつされたAlexNetモデルは、8層そうの畳たたみ込こみニューラルネットワークだった。オックスフォおっくすふぉード大学どだいがくのVisual Geometry Group（VGG）が2014年ねんに開発かいはつしたニューラルネットワークは、3×3の畳たたみ込こみ層そうを重かさねることで19層そうの深ふかさに近ちかづいた。しかし、より多おおくの層そうを積つみ重かさねることは、「劣化れっか」問題もんだいと呼よばれる学習がくしゅう精度せいどの速すみやかな低下ていかにつながった.

より深ふかいネットワークが、より浅あさいネットワークに余分よぶんなレイヤーを積つみ重かさねることで構築こうちくできるのであれば、より浅あさいネットワークよりも学習がくしゅう損失そんしつが大おおきくなることはないはずである。もし余分よぶんな層そうを同一どういつ性せいマッピングとして設定せっていできれば、深ふかいネットワークは浅あさいネットワークと同おなじ機能きのうを表あらわすことになる。オプティマイザは、パラメータ化かされた層そうに対たいして同一どういつ性せいマッピングに近ちかづくことができないという仮説かせつが成なり立たつ。

残ざん差さ学習がくしゅう

多層たそうニューラルネットワークモデルでは、ある数かず（例たとえば2層そうや3層そう）の積層せきそう層そうを持もつサブネットワークを考かんがえる。このサブネットワークが実行じっこうする基本きほん的てきな機能きのうを𝐻 ( 𝑥 ) に定義ていぎする。ここで 𝑥 はこのサブネットワークへの入力にゅうりょくである。残ざん差さ学習がくしゅうのアイデアは、このサブネットワークを再さいパラメータ化かし、パラメータ層そうに残ざん差さ関数かんすうを表現ひょうげんさせる。𝐹 ( 𝑥 ) := 𝐻 ( 𝑥 ) - 𝑥 . 出力しゅつりょく 𝑦 は次つぎのように表あらわされる：

${\begin{aligned}y&=F(x)+x\end{aligned}}$

信号しんごう伝播でんぱ

同一どういつ性せいマッピングの導入どうにゅうにより、前方ぜんぽうおよび後方こうほうパスでの信号しんごう伝播でんぱが容易よういになる。

残ざん差さブロックのバリエーション

畳たたみ込こみ残ざん差さブロックの2つのバリエーション。左ひだり：3x3の畳たたみ込こみ層そうを2つ持もつ基本きほんブロック。右みぎ：次元じげん削減さくげんのための1x1畳たたみ込こみ層そう（例たとえば1/4）、3x3畳たたみ込こみ層そう、次元じげん復元ふくげんのためのもう1つの1x1畳たたみ込こみ層そうを持もつボトルネック・ブロック。

プレアクト・ブロック

事前じぜん活性かっせい化か残ざん差さブロック(ResNetV2も呼よばれる)は、残ざん差さ関数かんすうを適用てきようする前まえに活性かっせい化か関数かんすう（例たとえば、非ひ直線ちょくせん性せいや正規せいき化か）を適用てきようする。正式せいしきには、前ぜん活性かっせい化か残ざん差さブロックの計算けいさんは次つぎのように書かくことができる：

${\begin{aligned}x_{\ell +1}&=F(\phi (x_{\ell }))+x_{\ell }\end{aligned}}$

ここで 𝜙 は任意にんいの非ひ線型せんけい活性かっせい化か（ReLUなど）または正規せいき化か（LayerNormなど）操作そうさである。この設計せっけいにより、残ざん差さブロック間あいだの非ひ同一どういつマッピングの数かずを減へらすことができる。この設計せっけいは、200層そうから1000層そう以上いじょうのモデルの学習がくしゅうに使用しようされた。

GPT-2以降いこう、Transformer BlocksはPre-activation Blocksとして実装じっそうされることが主流しゅりゅうとなっています。これは、Transformerモデルの文献ぶんけんでは、しばしば "pre-normalization "と呼よばれています。

トランスフォーマーブロック

最初さいしょの GPT モデルで使用しようされた Transformer アーキテクチャ。トランスフォーマーブロックは、マルチヘッドアテンションブロックとフィードフォワード多層たそうパーセプトロン（MLP）ブロックの2つの残ざん差さブロックから構成こうせいされる。

Transformerブロックは、2つの残ざん差さブロックを積つみ重かさねたものである。各かく残ざん差さブロックは残ざん差さコネクションを持もつ。最初さいしょの残ざん差さブロックはマルチヘッドアテンションブロックであり、（自己じこ）アテンション計算けいさんの後のちに線形せんけい投影とうえいを行おこなう。

2番目ばんめの残ざん差さブロックはフィードフォワード多層たそうパーセプトロン（MLP）ブロックである。このブロックは「逆ぎゃく」ボトルネックブロックに類似るいじしており、次元じげんを増加ぞうかさせる線形せんけい射影しゃえい層そう（これは畳たたみ込こみニューラルネットワークの文脈ぶんみゃくでは1x1畳じょうみ込こみに相当そうとうする）と、次元じげんを減少げんしょうさせるもう1つの線形せんけい射影しゃえい層そうを持もつ。

トランスフォーマーブロックの深ふかさは4層そう（直線ちょくせん投影とうえい）です。GPT-3モデルには96のトランスフォーマー・ブロックがある（トランスフォーマーの文献ぶんけんでは、トランスフォーマー・ブロックはしばしば「トランスフォーマー・レイヤー」と呼よばれる）。このモデルは、トランスフォーマーブロックの96x4層そうと、入力にゅうりょく埋うめ込こみと出力しゅつりょく予測よそくのための余分よぶんな層そうを含ふくめて、約やく400の投影とうえい層そうの深ふかさを持もつ。

非常ひじょうに深ふかいトランスフォーマーモデルは、残ざん差さコネクションなしではうまく学習がくしゅうできない。

関連かんれん作品さくひん

1961年ねんに出版しゅっぱんされたFrank Rosenblatt著ちょの本ほんの中なかで、スキップ接続せつぞくを持もつ3層そうの多層たそうパーセプトロン（MLP）モデルが紹介しょうかいされている（第だい15章しょう p313）。このモデルは「交差こうさ結合けつごうシステム」と呼よばれ、スキップ結合けつごうは交差こうさ結合けつごうの一いち形態けいたいである。

生物せいぶつ学がく的てきな関係かんけい

最初さいしょのResidual Networkの論文ろんぶんでは、生物せいぶつ学がく的てきシステムに示唆しさされたとは主張しゅちょうしていない。しかし、その後ごの研究けんきゅうで、Residual Networkは生物せいぶつ学がく的てきに妥当だとうなアルゴリズムと関連かんれんづけられるようになった。.

2023年ねんに『サイエンス』誌しに発表はっぴょうされた研究けんきゅうで、昆虫こんちゅう（ミバエの幼虫ようちゅう）の脳のうの完全かんぜんなコネクトームが公開こうかいされた。この研究けんきゅうでは、ResNetsを含ふくむ人工じんこうニューラルネットワークのスキップ接続せつぞくに似にた「多層たそうショートカット」が発見はっけんされた。

関連かんれん項目こうもく

• 勾配こうばい消失しょうしつ問題もんだい