1. 特徴ベクトルとは何か
特徴ベクトルは、言葉の意味や文脈を数値形式で表現するモデルの手法です。トランスフォーマーモデルでは、各単語やフレーズ（トークンと呼ばれる）が、まず「エンベディング」や「特徴ベクトル」に変換されます。このエンベディングはトークンの持つ意味を捉え、各トークンに対する数値のリストとなります。
2. マルチレイヤーパーセプトロンと特徴ベクトルの更新
トランスフォーマーモデルは、各トークンの特徴ベクトルを多数の「レイヤー」または「ブロック」を通じて順次処理します。各レイヤーは特徴ベクトルを取り込み、その情報を「更新」します。その更新は、各トークンが他のすべてのトークンとどのように関連しているかを考慮に入れる「アテンション」メカニズムと、それぞれの特徴ベクトルを変換するための「マルチレイヤーパーセプトロン」を利用します。マルチレイヤーパーセプトロンは、特徴ベクトルの各要素を非線形に変換し、それによりモデルの表現力を向上させます。
3. 「猫が空を飛ぶ」の特徴ベクトル
例えば、「猫」というトークンは最初のエンベディングステップで特定の特徴ベクトルを持つことになります。次に、「空を飛ぶ」というトークンもまたその特徴ベクトルを持つことになります。そしてこれらのトークンが一緒に存在する文脈（ここでは、「猫が空を飛ぶ」）によって、各トークンの特徴ベクトルは更新されます。「アテンション」メカニズムとマルチレイヤーパーセプトロンを通じて、モデルは「猫」が「空を飛ぶ」文脈に存在するという情報を捉え、その特徴ベクトルを適応的に調整します。
4. 特徴ベクトルとモデルの理解
つまり、特徴ベクトルは各トークンの情報を持ち、モデルが文脈に基づいてその情報を処理・理解する方法を表します。トランスフォーマーモデルの強力なところは、この特徴ベクトルを通じて、さまざまな文脈やニュアンスを理解し、それらに適応する能力にあります。また、マルチレイヤーパーセプトロンは、特徴ベクトルの非線形な変換を通じて、モデルが複雑なパターンや関連性を捉えられるように支えています。
| 用語 | 説明 |
|---|---|
| 特徴ベクトル (Feature Vector) | 特定のトークン（単語やフレーズ）の意味や文脈を表現する数値のリスト。トランスフォーマーモデルの各レイヤーでアップデートされる。 |
| エンベディング (Embedding) | 特定のトークンを特徴ベクトルに変換する初期のステップ。エンベディングは特徴ベクトルの初期状態とも言える。 |
| Q (Query), K (Key), V (Value) | 特徴ベクトルから計算される3つのベクトル。Qは現在のトークン、Kは他の全てのトークン、Vは各トークンの情報に関連している。これらはアテンションメカニズムの一部として使用され、特徴ベクトルの更新に貢献する。 |
| 重み (Weights) | トランスフォーマーモデルの学習プロセス中に最適化されるパラメータ。特徴ベクトルをQ、K、Vに変換したり、マルチレイヤーパーセプトロンで特徴ベクトルを更新する際に使用される。 |
トランスフォーマーモデルにおける特徴ベクトルの処理は、GPTモデルにおいても非常に重要な役割を果たしています。このモデルは、自然言語のような系列データを扱うために特に設計されています。特徴ベクトルは、このモデルが理解し、生成し、予測する各種のタスクを実行するための基本的な要素です。
以下のPythonコードスニペットは、特徴ベクトルがどのように更新されるかを示しています。
class Block(nn.Module):
def __init__(self, config):
super().__init__()
self.ln_1 = LayerNorm(config.n_embd, bias=config.bias)
self.attn = CausalSelfAttention(config)
self.ln_2 = LayerNorm(config.n_embd, bias=config.bias)
self.mlp = MLP(config)
def forward(self, x):
x = x + self.attn(self.ln_1(x))
x = x + self.mlp(self.ln_2(x))
return x
このコードは、トランスフォーマーモデルの各ブロックが特徴ベクトルを処理する一連のステップを表現しています。特徴ベクトル（x）は、モデルの入力として供給され、各ブロックを通過することによって更新され、最終的な出力として返されます。
特徴ベクトルの処理は、以下のステップで行われます。
LayerNormという操作で正規化されます。CausalSelfAttentionという操作に供給されます。これにより、特徴ベクトルから「クエリ」、「キー」、「バリュー」の3つのベクトルが生成され、それらを使用して各トークン間の関連性が計算されます。この関連性に基づいて特徴ベクトルが更新されます。LayerNormによって正規化されます。MLP（多層パーセプトロン）と呼ばれるフィードフォワードネットワークに供給されます。ここで特徴ベクトルはさらなる変換を受け、最終的な出力が得られます。このように、GPTモデルでは特徴ベクトルが連続的に更新され、各ステップで深層学習モデルが理解して利用するための情報が加えられます。
エンベディングは特定の単語やフレーズ、あるいは他のタイプの入力データを表現するために使用されます。これは、データを固定の次元数を持つ連続的なベクトル空間にマッピングするプロセスです。
エンベディングの役割は、元のデータを一定の形式に変換し、それをモデルが理解しやすい形にすることです。一般的に、エンベディングは数百から数千の次元を持つベクトルで、これらの次元は特定の単語やフレーズの意味や構造的な特徴を捉えています。
では、このエンベディングが特徴ベクトルになる瞬間はいつでしょうか？
GPTのコードを見てみましょう：
tok_emb = self.transformer.wte(idx) # token embeddings of shape (b, t, n_embd)
pos_emb = self.transformer.wpe(pos) # position embeddings of shape (t, n_embd)
x = self.transformer.drop(tok_emb + pos_emb)
for block in self.transformer.h:
x = block(x)
x = self.transformer.ln_f(x)
ここで注目すべきは、self.transformer.wte(idx)とself.transformer.wpe(pos)の部分です。wteは”Word Token Embedding”、wpeは”Word Positional Embedding”を表しています。これらはそれぞれ単語のエンベディングと位置のエンベディングを生成しています。そして、これらのエンベディングが合計されて初めて特徴ベクトルxが生成されます。
この行為、つまりエンベディングの生成と組み合わせこそが、特徴ベクトルを生み出す重要な瞬間なのです。この特徴ベクトルは、その後のTransformerブロック（self.transformer.h内のblock）によってさらに処理され、最終的な出力が生成されます。