「トランスフォーマー（Transformer）」とは？

トランスフォーマーは、現代AIのほぼすべてを支える設計、GPTの「T」であり、躍進の核心は単語を1つずつではなく全部を一度に読むことです。それを可能にするのがアテンションで、各単語が他のすべての単語を同時に見て、自分の意味に効く相手を重み付けします。この一点が、今日の巨大モデルを可能にしました。

トランスフォーマーは、全部を一度に読むことが利点のすべてであるニューラルネットワーク設計です。以前の設計は薄れゆく記憶を抱えて一語ずつ読んだため、長い文章はぼやけ、さらに悪いことに、前の単語が終わるまで何も計算できませんでした。2017年の論文「Attention Is All You Need」は、その両方を一度に解決します。アテンション機構は、各トークン、おおよそ単語の断片ごとに、他のすべてのトークンを直接見て重要度を採点させます。「犬が自分の尻尾を追いかけた」という文で、「自分の」が文をまたいで犬を見つけられるのはアテンションのおかげで、記憶の連鎖は不要です。各層はその採点を使って、文脈の中での各単語の意味を研ぎ、多くの層を積むことで生の単語が理解された意味になります。並列読みはモデルが巨大化した理由でもあり、どの単語も他を待たないので訓練が数千のチップに同時に分散でき、それで初めてインターネット規模の訓練が現実になりました。全員が全員を見る代償は文章が長くなるほど計算が急増することで、だからこそどのモデルにも一度に考慮できる量の上限、コンテキストウィンドウがあるのです。

刑事チームが事件ファイルを扱う2つのやり方。古いやり方では、1人が最初から最後まで音読し、全員が「さっき読んだ内容」の記憶に頼るので、90ページ目に着く頃には2ページ目の細部はぼやけています。トランスフォーマーのやり方では、全ページを一度にコルクボードに貼り、関連する手がかり同士に糸を張ります、このアリバイとあの時刻、90ページの名前と2ページの目撃者。意味は糸から生まれ、早く登場したページだけがぼやける、ということがなくなるのです。