Clicked Gallery
「コンテキストウィンドウ」とは?
実際の技術ドキュメントでハイライトされた言葉を、Clickedが解説します。
例文
Engineering Notes · AI Systems
Requests exceeding the model's context window are rejected, so long documents must be chunked before submission.
読者がドキュメント内の単語をハイライトすると、Clickedが技術用語「context window」をやさしく解説しました:
3段階での解説
●○○
Overview
コンテキストウィンドウは、AIモデルが一度に考慮できるテキスト量の上限で、入力と返答の両方を含む。この限界を超えた部分はモデルには見えない。単位はトークンで、単語まるごとではなく単語のかけらだ。
●●○
Detail
ウィンドウにはその場の全てが数えられる。これまでの会話、貼り付けた文書、そして生成中の返答だ。サイズはトークンで表され、英語では1トークンが単語の約4分の3にあたり、128,000が標準で、100万をうたうモデルもある。100万は長編小説数冊ぶんだ。会話がウィンドウからあふれると古いメッセージから順に落ちるため、長いセッションは冒頭の指示を忘れる。大きなウィンドウは料金も高くつく。モデルは各トークンを他の全トークンと照合するので、テキストが2倍になると計算はおよそ4倍になるからだ。さらに、モデルは非常に長い入力の中間部分に弱く、冒頭と末尾のほうをよく覚えている。これは lost in the middle と呼ばれる実測された現象だ。
●●●
Analogy
会議室のホワイトボード。必要なことは全部そこに収め、埋まったら一番古い隅を消して新しいメモの場所を作る。1分目の計画が3時間目に消えているのは、忘れたからではなく板の面積が尽きたからだ。
AIによる解説には誤りが含まれる場合があります · 専門的な助言ではありません
事実はそのまま、ノリだけ変えて — スラングモード 😎
●○○
Overview
コンテキストウィンドウはAIの作業記憶。君の言葉も自分の言葉も含めて、一度に頭に置けるテキスト量のことだ。あふれさせると古いものから静かに落ちていく😎
●●○
Detail
ウィンドウには全部カウントされる。チャット履歴、放り込んだPDF、書いている途中の返事まで。単位はトークン(単語の4分の3くらいのかけら)で、128kが普通、100万は発表記事の自慢ネタ。詰め込みすぎると古いメッセージが音もなく崖から滑り落ち、1時間前のルール1をボットが忘れるのはそのせいだ。デカければタダでもない。各トークンを全トークンと照合するから、文章2倍で仕事はほぼ4倍、請求書に響く。おまけに、巨大な塊の真ん中に埋まった情報が一番覚えられないので、80ページ中40ページ目の決定的な一文こそ見落とされる😎
●●●
Analogy
試験週間の机。実際に使うものは全部机の上に置くしかなく、いっぱいになると一番古い山が床に落ちる。月曜の公式シートが消えたのは不注意のせいじゃない。机に縁があるせいだ。
AIによる解説には誤りが含まれる場合があります · 専門的な助言ではありません
正式な定義 — 同じ用語の、よくある説明
コンテキストウィンドウは、トランスフォーマー型言語モデルが一回の順伝播で注意を向けられる最大系列長をトークン数で表したもので、プロンプトと生成出力の両方を含む。自己注意は系列長の2乗で計算量が増えるため実用的なウィンドウサイズは制約され、系列中間に位置する情報の検索精度は経験的に低下する。
「context window」のような言葉を、ブラウザ上でそのままClickedに解説させませんか?PDFにも対応。
Chromeに追加 — 無料無料で50回の解説 · クレジットカード不要
ギャラリーの他の記事
研究論文の「ちゃんとした」読み方
賢く流し読み、専門用語の壁を突破、学んだことは手元に — 1セッションを正しいやり方で。
「トークン化」とは?
AIが読む前にテキストを刻む仕組み——言語によって割高になる理由。
「RAG(検索拡張生成)」とは?
AIを自分の文書から答えさせる — まず検索、次に生成、出典つき。
「ベクトル埋め込み(エンベディング)」とは?
意味を座標に変える — 単語が一致しなくても機械が「似たもの」を見つける仕組み。
「冪等(べきとう)なAPI」とは?
10回クリックしても請求は1回 — 再試行を安全にする性質。
「技術的負債」とは?
近道と老朽システムが未来に請求書を回す — 元本、利息、返済。