生成AI入門コース

神谷の疑問

第2回の学習が始まった。前回の学習メモを見返していた神谷は、ふと気になっていたことを切り出した。

神谷

西園寺さん、よく考えるとAIって前からありましたよね。スマホの音声認識とか、ネットショッピングのおすすめ機能とか。それなのに、なぜ今こんなに騒がれているんでしょうか

西園寺

いい疑問ね。実は、以前からあるAIと、ChatGPTのようなLLMでは、できることの範囲がずいぶん違うの。今日はその違いを整理しましょう。あわせて、LLMの中身を少しだけ覗いてみて、『どうしてこういう使い方になるのか』が腑に落ちるところまで進めるといいわね

従来型AIの得意なこと

西園寺はまず、ChatGPTが登場する前から使われていたAIについて説明を始めた。

西園寺

以前からあるAIの多くは、『特定のタスクに特化したAI』と呼ばれるものなの。たとえば、メールがスパムかどうかを判定する、写真の中に人の顔があるかを検出する、過去のデータから売上を予測する、といった仕事ね

神谷

あ、うちのECサイトにも『おすすめ商品』の機能がありますけど、あれもAIなんですか？

西園寺

そうよ。閲覧履歴や購入履歴をもとに、お客様が興味を持ちそうな商品を選ぶのもAIの一種ね。ただ、これらは『与えられたデータを分析して判断する』タイプで、新しい文章や画像を作ることは基本的にはできないの

神谷は少しずつ理解が進んだ。従来型のAIは、分類、予測、検出、推薦といった特定のタスクに強い。しかし、それぞれのAIは自分の専門以外のことには対応できない。スパム判定AIに「商品説明を書いて」と頼んでも、何もできない。

西園寺

従来型AIは、一つのことを正確にやるのが得意なの。でも、別のことをさせようとすると、また別のAIを開発する必要があったのよ

神谷

つまり、用途ごとに専用のAIが必要だった、ということですか

西園寺

その通りよ。それが、LLMの登場で大きく変わったの

LLMは何が違うのか

西園寺

LLM、大規模言語モデルの一番の特徴は、自然言語、つまり日常で使っている言葉でそのまま指示できることなの。そして一つのモデルで、いろいろな種類の作業に対応できることね

神谷

いろいろな種類、というと？

西園寺

たとえば、同じChatGPTに対して、『商品の説明文を書いて』と頼むこともできるし、『この文章を要約して』と頼むこともできる。『メールの下書きを作って』や『アイデアを5つ出して』といった指示にも対応できるのよ

神谷

えっ、ぜんぶ同じAIでできるんですか？

西園寺

そう。従来のAIは用途ごとに別のものが必要だったけれど、LLMは一つのモデルで幅広い言語タスクに対応できるの。これが大きな違いなのよ

神谷は驚いた。従来型AIが「一つの仕事を正確にこなす専門職」だとすれば、LLMは「いろいろな仕事のたたき台を作れる万能アシスタント」のようなものだ。ただし、西園寺はすぐに補足を加えた。

西園寺

ただし、LLMが何でもできるわけではないの。得意なのは言葉に関する作業よ。文章の生成、要約、翻訳、質問応答、アイデア出し。こういった作業の『たたき台』を素早く作ることに向いているの

神谷

たたき台、ですか

西園寺

そうね。LLMが作ったものをそのまま使うのではなく、人間が確認して、修正して、仕上げる。その前提で使うことが大事なの。このあたりは、第4話でもっと詳しく話しましょう

トークンとコンテキストの基本

ここで西園寺は、LLMを理解するうえで知っておくとよい基本的な概念をいくつか紹介し始めた。

西園寺

LLMがどう動いているかを少しだけ知っておくと、使い方のコツが分かりやすくなるの。まず、『トークン』という言葉を覚えておいてね

神谷

トークン、ですか？

西園寺

LLMは文章をそのまま読んでいるのではなく、文章を『トークン』という小さな単位に分割して処理しているの。日本語の場合、1文字＝1トークンとは限らなくて、漢字1文字が複数のトークンに分かれることもあれば、ひらがなの数文字が1トークンにまとまることもあるの。サービスやモデルごとの分け方──これを『トークナイザ』と呼ぶの──で変わるのよ

神谷

文章を細かく分けて、パズルのピースみたいに処理しているんですね

西園寺

いいたとえね。そしてLLMは、入力されたトークンの並びを見て、『次に来そうなトークン』を確率で選びながら、文章をつないで返してくれるの。だから出力は同じ質問でも毎回少しずつ違うのよ

神谷

なるほど。だから同じことを聞いても、表現が微妙に変わるんですね

西園寺

そう。そしてもう一つ大事なのが『コンテキスト』、つまり文脈のことよ。LLMは、今の会話でやり取りされた内容を文脈として一時的に保持していて、前に話したことを参照しながら返答してくれるの

神谷

だからChatGPTは、会話の続きとして答えてくれるんですね

神谷は、ようやくChatGPTとの会話が「前の発言を覚えてくれている」ように見える理由が分かってきた。LLM自身が記憶しているのではなく、会話に登場したトークンの並びを「文脈」としてもう一度LLMに渡しているから、続きの応答ができるという仕組みらしい。

コンテキストウィンドウの挙動

西園寺

ここからが大事よ。LLMがコンテキストとして一度に見られる量には、上限があるの。これを『コンテキストウィンドウ』と呼ぶのよ

神谷

ウィンドウ……窓、ですか

西園寺

そう、窓と思ってもらうとイメージしやすいわ。会話の長い帯があって、LLMはその帯のうち、窓の中に見えている範囲だけを参照できるの。会話が進むと、新しい発言がどんどん帯の右側に追加されていって、窓も一緒に右にスライドしていくの

神谷

ということは、最初の方の話は……

西園寺

そう、ウィンドウの上限を超えると、古い発言は窓の外に押し出されてしまうの。LLMからは『見えなくなる』のよ。だから、長い会話を続けたあとで『最初に話した条件を覚えてる？』と聞いても、すでに窓の外に出ていれば参照できないの

神谷

人間でいう物忘れ、みたいな感じですか

西園寺

近いけれど、LLMの場合は『忘れた』というより『最初から見ていない』に近いの。LLMは長期記憶を持っていなくて、毎回ウィンドウの中身を新しく渡されて応答しているだけなのよ。だから別の会話に切り替えると、前の会話のことは基本的にゼロからのスタートになるの

神谷

あれ、でもChatGPTで別のチャットを開いても、自分の名前や仕事のことを覚えていてくれた気がするんですが……

西園寺

いい気づきね。それは『メモリ機能』と呼ばれる別の仕組みで、明示的に保存された情報だけがチャットを跨いで参照されるの。コンテキストウィンドウとは別レイヤーの話だから、原則は『別の会話はゼロから』、その上で『記憶として保存されたものだけは引き継がれる』と覚えておくといいわ。サービスによってオン／オフを切り替えられることが多いから、設定も一度見ておくと安心ね

神谷は、社内で「ChatGPTに長い資料を貼り付けたら、途中の指示が無視された」と話していた同僚の話を思い出した。あれはウィンドウの上限を超えて、最初の指示が窓の外に出てしまったのかもしれない。

神谷

ちなみに、その上限のトークン数って、こちらが書いた文章の長さだけで決まるんですか？

西園寺

これも大事なところね。実はLLMが返してくれる応答の長さも、同じウィンドウの中で数えられるの。だから『入力（これまでの会話やプロンプト）＋出力（AIの応答）の合計』が上限になる、と覚えておくといいわ。長い資料を貼り付けてさらに長い回答を求めると、その両方が窓を使うから、思ったより早く上限に近づくことがあるのよ

神谷

なるほど、AIに長く話してもらうほど、こちらが入れられる量も減っていくんですね

西園寺

そういうこと。だから『短く要点だけ返して』と頼むのも、窓を上手に使うコツの一つなの

神谷

これって、ウィンドウの大きさはサービスごとに違うんですか？

西園寺

いいところに気づいたわね。違うの。モデルやプランによって『何万トークンまで』『何十万トークンまで』と上限が決まっていて、年々大きくなる傾向にあるわ。でも、無限ではないし、ウィンドウが大きくても『途中の情報を見落としやすくなる』という別の弱点も出てくるの。だから、上限を知っておく以上に、『長い会話は要点を整理して入れ直す』『大事な前提は途中でもう一度書く』という使い方が大切になるのよ

神谷

なるほど。窓があると分かったら、こちらから整理して窓に入れてあげる、というイメージですね

西園寺

いい言い方ね。LLMは賢い相棒だけれど、窓の外までは見えない。神谷くんが要点をまとめ直して見せてあげる、と考えると、長文を扱うときの不安がだいぶ減るはずよ

最後に西園寺は、「モデル」という言葉にも触れた。モデルとは、大量のデータを学習して作られた知識の塊のようなもので、サービスごとに異なるモデルが使われている。同じサービスでも、モデルのバージョンが上がるとコンテキストウィンドウの上限や応答の質が変わることがある、と説明した。

神谷

トークン、コンテキスト、コンテキストウィンドウ、モデル。整理されてきました

西園寺

今日はここまでにしましょう。大事なのは、従来のAIとLLMでは使い方が違うということ。そして、LLMには『窓』があって、その中身を整えてあげるのが上手な使い方だということね。次の『プロンプト』の話に、きれいに繋がっていくのよ