自己注意（Self-Attention）とは何か、読んで理解するための記事

30.9K 00

セルフ・アテンションの定義

自己アテンションはディープラーニングにおける重要なメカニズムであり、元々はTransformerアーキテクチャで提案され、広く使われている。核となるアイデアは、モデルが入力シーケンス内のすべての位置に同時に注目し、重み付き集約によって各位置の表現を計算できるようにすることである。自己注意メカニズムは、クエリ、キー、値の3つのベクトルの集合によって注意の重みを計算する。シーケンスの各要素について、モデルはシーケンスの全要素との類似スコアを計算し、それをソフトマックスで正規化して注目重みとし、最後に重み付き総和によって新しい表現を生成する。この設計により、モデルは要素間の距離に関係なく、シーケンス内の依存関係を動的に捉えることができる。自己注意の利点は、並列に計算できることであり、リカレントニューラルネットワークにおける逐次処理のボトルネックを回避し、長距離の依存関係をモデル化する能力を大幅に向上させる。このメカニズムは、自然言語処理分野の基本であるだけでなく、コンピュータビジョン、音声認識、マルチモーダル学習の分野にも徐々に拡張され、最新のディープラーニングモデルの中核をなすコンポーネントのひとつとなっている。

セルフ・アテンションの基本原則

クエリ、キー、値ベクトルの役割自己アテンション機構は、クエリベクトル、キーベクトル、値ベクトルの計算に依存している。クエリーベクトルは、注意を喚起する必要がある現在の位置を表し、キーベクトルはクエリーベクトルとの類似性を計算するために使用され、値ベクトルには各位置の実際の情報が含まれる。これら3つのベクトルセットの相互作用を通じて、モデルは異なる位置からの情報に動的に注目することができる。
類似度スコアの計算このモデルはクエリーベクトルと全てのキーベクトルとの内積を計算することで類似スコアを得る。ドット積の結果は、勾配が消失する問題を避けるために（通常はキーベクトルの次元の平方根で割ることによって）スケーリングされ、その後ソフトマックス関数によって確率分布に正規化される。
加重和演算正規化された注意の重みは、値ベクトルの重み付き合計を行うために使用される。このステップで生成された新しいベクトルには、シーケンス内のすべての位置からの関連情報が組み込まれ、表現の豊かさと文脈を意識した表現が強化される。
並列コンピューティングの利点自己注意メカニズムにより、リカレントニューラルネットワークのような逐次計算に頼ることなく、シーケンスのすべての位置を同時に処理することができる。この並列化により計算効率が飛躍的に向上し、特に長いシーケンス処理に適している。
長距離依存の捕捉自己アテンションは任意の2つの位置間の関係を直接計算するため、このモデルは長距離依存関係を効果的に捉えることができ、従来のリカレント・ニューラル・ネットワークにおける勾配の消失や爆発という問題を回避することができる。

セルフ・アテンション・ワーキング・メカニズム

入力表現の変換入力シーケンスは線形変換され、クエリ、キー、値のベクトルが生成される。元の入力を異なるベクトル空間にマッピングすることで、モデルはより柔軟な表現を学習できる。
注意重量の生成各ロケーションペアの類似度スコアは、クエリーベクトルとキーベクトルのドット積を計算することで得られる。スコアはスケーリングされ、注目度重み行列を形成するためにソフトマックスされる。
コンテキストベクトル計算注意の重みは乗算され、値ベクトルと合計される。この表現には、シーケンス内のすべての場所からの情報が組み込まれ、モデルの表現力が強化される。
ロング・アテンション・スパンの拡大多頭注意は自己注意のプロセスを複数回繰り返し、注意の各セットは異なる表現部分空間に焦点を当てる。複数のヘッドの出力は、線形変換によってスプライスされ統合され、モデルの表現力をさらに高める。
出力と残留接続自己調整出力は通常、勾配消失問題を回避するために残差接続を介して入力と結合される。学習の安定性を確保するために、レイヤーの正規化が適用される。

セルフ・アテンションの応用分野

自然言語処理自己アテンションは、機械翻訳、テキスト生成、感情分析などのタスクで広く使用されているTransformerモデルの中核である。例えば、BERTやGPTファミリーのモデルは、文脈情報を捉えるために自己注意を利用している。
コンピュータビジョンVision Transformerは、画像をブロックに分割し、それらをシーケンスとして処理する。
音声認識と合成音声処理では、音声シーケンスの長期的な依存関係をモデル化し、音声認識や音声合成システムの性能を向上させるために自己注意を用います。
マルチモーダル学習自己注意はテキスト、画像、音声の共同処理をサポートし、視覚クイズや画像説明生成などのマルチモーダルなタスクに応用できる。
バイオインフォマティクス自己アテンションは、DNA配列の解析やタンパク質の構造予測などの分野で使用され、生物学的データの複雑なパターンを捉えるのに役立っている。

セルフ・アテンションの利点

グローバル依存モデリング自己アテンションは、シーケンス内の任意の2つの位置間の関係を直接計算することができ、長距離依存関係を効果的に捉え、従来のリカレントニューラルネットワークを凌駕する。
高い計算効率計算を並列化することで、自己注意をハードウェアアクセラレーションに適したものにし、特に長いシーケンスを扱う場合に、学習と推論を大幅に高速化することができる。
強力な柔軟性自己注意機構は順序に依存せず、異なる長さの入出力シーケンスに柔軟に適用できるため、多様なタスク設計に対応できる。
解釈可能性の向上注意の重みを可視化することで、モデルの意思決定に対する洞察が得られ、モデルが入力シーケンスのどの部分に注目するかを理解するのに役立つ。
優れた拡張性アテンションヘッドやレイヤーの数を増やすことで、モデルの能力を簡単に拡張し、より大きく複雑なタスクに対応することができます。

自己注意の限界

オーバーフィッティング・リスクモデルパラメータの数が多いと、自己アテンションメカニズムはオーバーフィッティングを起こしやすくなり、それを軽減するために大量のデータや正則化技術が必要になる。
位置情報は外部コーディングに依存自己アテンション自体には位置情報が含まれていないため、順序を注入するには位置エンコーディングに頼らざるを得ない。
解釈はまだ限定的アテンション・ウェイトは視覚化できるものの、複雑なモデルの実際の意思決定プロセスを完全に読み解くことはまだ難しく、信頼性に影響する可能性がある。
ドメイン適応の課題自己注意は、データが少ない領域ではうまく機能しないことがあり、特定のタスクのために細かく調整する必要がある。

セルフ・アテンションの実施内容

ドット積のスケーリングこれは、ドット積、勾配の消滅を防ぐためのスケーリング係数、重みの正規化を確実にするためのソフトマックスを介して類似性を計算します。
複数の注意メカニズムマルチヘッド注意は入力を複数の部分空間にマッピングし、各ヘッドは独立して注意を計算し、最終出力は線形変換によってスプライスされ統合される。
ポジション・コーディング・デザイン正弦と余弦の位置コーディングは、入力シーケンスに位置情報を追加し、学習された位置コーディングは、特定のタスク要件に適応するために使用することもできます。
残留結合とレイヤーの正規化自己調整層は、学習の安定性と収束速度を向上させるために、残差リンクや層の正規化と組み合わされることが多い。
マスキング・メカニズムデコーダーでは、マスクされた自己注意が、モデルが未来の情報にアクセスするのを防ぎ、自己回帰生成過程が合理的であることを保証する。

自己注意の変化と改善

効率的な注意メカニズムLinformer、Reformerなどの変種は、低ランク近似や局所的に敏感なハッシングによって計算の複雑さを軽減し、自己注意をより長い配列に適用できるようにする。
注意力不足スパース・アテンションは、各ポジションを一部のポジションのみに限定することで、モデルのパフォーマンスを維持しながら計算量を削減します。
相対位置コード絶対位置コーディングの代わりに相対位置コーディングを使用することで、要素間の相対距離をより適切にモデル化し、汎化を向上させる。
クロスモーダル注意クロスモーダル注意は、自己注意をマルチモーダルデータに拡張し、テキスト、画像、音声のインタラクティブなモデリングをサポートする。
ダイナミック・アテンションダイナミック・アテンションは、入力内容に基づいてアテンション計算を調整し、モデルの適応と効率を向上させる。

自己注意のトレーニングと最適化

損失関数の設計：自己調整モデルでは、多くの場合、タスク固有の最適化目標と組み合わせて、分類タスクにはクロスエントロピー損失、回帰タスクには平均二乗誤差損失を使用する。
オプティマイザーの選択：アダム・オプティマイザーは、ウォームアップやディケイといった学習率のスケジューリング戦略を組み合わせることで、収束を向上させる自己調整型のモデル学習に広く使用されている。
正則化のテクニック：ドロップアウトはアテンション・ウェイト・ネットワークとフィードフォワード・ネットワークに適用され、ウェイトの減衰と勾配のトリミングによってオーバーフィッティングやトレーニングの不安定性を防ぐ。
一括トレーニング戦略：大容量トレーニングと勾配累積技術の組み合わせにより、ハードウェアの利用率とトレーニング効率を向上。
評価と調整：精度やプレプレキシティなどの検証セット監視指標、早期停止戦略、モデル・チェックポイントは、最適なモデル・バージョンを選択するために使用される。