生成AI入門コース

神谷：「西園寺さん、ちょっと聞いていただいてもいいでしょうか。AIが書いてくれた文章のなかに、事実と違うことが入っていました」

西園寺：「どんな内容だったの？」

神谷：「『全国品評会で金賞を受賞した』と書いてあるんですが、仕入れ資料にもメーカーの公式サイトにも、そんな記述はないんです。それから『創業以来50年の伝統製法』とも書いてあるんですが、実際は創業30年くらいの会社で……」

西園寺：「神谷くん、よく気づいたわね。それは『ハルシネーション』と呼ばれる現象なの」

神谷：「ハルシネーション……。幻覚、という意味ですか？」

西園寺：「そう。直訳すると幻覚ね。ただ、AIの場合は、人間のように何かを見間違えているわけではないの」

神谷：「では、どういう意味なんでしょうか」

西園寺：「AIが、根拠を確認できない内容や、実際には存在しない情報を、もっともらしい文章として生成してしまう現象のことよ」

神谷：「つまり、文章として自然に見えても、事実とは限らないんですね」

西園寺：「その通り。AIが意図的に嘘をついているわけではないけれど、結果として事実と違う内容が混ざることがある。だから、公式サイトや仕入れ資料のような一次情報で確認することが大切なの。生成AIを使ううえで、いちばん最初に知っておいてほしい現象よ」

西園寺：「ハルシネーションがどういう現象か分かったところで、なぜそんなことが起きるのか、LLMの仕組みから見てみましょう」

神谷：「あの『金賞受賞』も『創業50年』も、読んでいるあいだは何の違和感もありませんでした。なぜあんなに自然に書けてしまうんでしょうか」

西園寺：「違和感がないからこそ厄介なのよね。仕組みを見ていきましょう」

西園寺：「LLMがやっていることを、すごく単純に言うと、『いまある文の続きに、いちばん自然な単語は何か』を確率で選んで、一語ずつ書き足していくことなの」

神谷：「一語ずつ……。たとえば『この商品は』と書いたら、次は『おすすめです』とか『新発売の』とか、続きの候補が確率で並ぶイメージでしょうか」

西園寺：「そう、まさにそのイメージ。この『次にくる言葉の候補』ひとつひとつが、第2話で覚えた『トークン』ね。各トークンにスコアがついていて、文脈的にいちばん自然なものが選ばれる。これを最後まで繰り返すと、一見すんなり読める文章ができあがるの」

西園寺：「ここで大事なのは、LLMが選んでいる基準は『事実』じゃなくて『自然さ』だということ。たとえば商品の特徴を書いて、と頼まれたとき、LLMは『商品紹介文によく出てくる言葉』を確率的に組み合わせていく。受賞歴、伝統、こだわり、産地——どれも商品紹介文に頻出する型なのよ」

神谷：「だから『金賞受賞』『創業50年』みたいに、もっともらしい単語が選ばれてしまう……。それが事実かどうかは、LLM自身は判断していないわけですね」

西園寺：「そう。さらにもうひとつ。LLMが学習したデータのなかに、その商品の正確な情報が含まれていない場合、LLMは『情報がありません』と言う代わりに、似た文脈で出てきそうな言葉で穴を埋めてしまうことがあるの」

神谷：「学習データになかった事実を、それらしい言葉で埋めてしまう……。空白を埋める癖がある、と捉えるといいんでしょうか」

西園寺：「『分からない』と止まるよりも、『自然な続き』を出す方向に最適化されているから、空白を“もっともらしく”埋めてしまう。これがハルシネーションの一番分かりやすい起き方なの」

西園寺：「自然に読めることと、正しいことは別。流暢さと正確さは別の物差しなのよ。ハルシネーションは『AIが意地悪をしている』のではなくて、『自然さで言葉を選ぶ仕組みの副作用』として理解するといいの」

神谷：「学習データに載っていなさそうな、固有の事実——うちの商品の受賞歴、創業年、限定情報、最新の数字——あのあたりが、ハルシネーションが起きやすい場所ですね」

西園寺：「その通りよ。逆に、よく知られた一般論や、世間に大量に書かれている話題は、リスクは比較的低いの。固有名詞、数字、日付、受賞歴、最新動向——そこは特に注意して見ていきましょう」

神谷：「つまり、AIに任せきりにしてはいけないんですね。下書きまではお願いしていいけれど、公開する直前には必ず人が見る、という線を引く」

西園寺：「そう。AIは便利な下書きツールだけど、最終的な判断と責任は人間の側にあるの。とくにお客様に向けて発信する情報や、事実に基づく内容は、必ず一次情報で裏を取ることが大切よ」

神谷：「今回、最初に気づけてよかったです。もし確認しないまま載せていたら、お客様に事実と違う情報を伝えていたところでした」

西園寺：「神谷くん、自分で気づけたことが一番大事なのよ。ファクトチェック——事実確認の習慣を身につけることが、AIを安全に使う基本になるの」

神谷：「固有名詞、数字、日付、受賞歴、最新動向——このあたりを重点的に確認するチェックリストを作っておきます。ECサイトに載せる商品紹介文には、そのリストを一度通してから入稿する流れにします」

西園寺：「いいわね。来年の子育て家庭応援フェアの準備でも、たとえばフェア商品の説明文をAIに下書きしてもらうとしたら、このチェックリストを通してから店頭やECに出すといいわ。フェアは『子育て世帯のお客様に正しく届ける』ことが何より大事だから、ハルシネーションを止める仕組みを最初に作っておけば、現場のパートさんも安心して下書きを活用できるの」

神谷：「フェアは『何ができそうか』だけじゃなくて、『何を守らないといけないか』も含めて準備しないといけないんですね。今日の3つの対処法を、フェア用の作業手順の一番上に置きます」