生成AI入門コース

うまくいった……はず

前回の学習でプロンプトのコツをつかんだ神谷は、さっそくまるやまマートの商品紹介文をいくつか作ってみることにした。西園寺から教わった5つの要素——目的、背景、材料、条件、出力形式——を意識して、丁寧にプロンプトを書いた。

AIから返ってきた文章は、前回の失敗とは打って変わって読みやすく、商品の魅力もきちんと伝わる内容だった。語り口にも温度があって、まるやまマートらしい親しみが感じられる。神谷は控えめに手応えを感じた。

神谷は満足して、その文章をメモに保存した。あとは念のために商品の詳細情報と突き合わせるだけ。手元の仕入れ資料を開きながら、AIの下書きと一行ずつ比べはじめたとき、ふと違和感に気づいた。

間違いに気づく

AIが生成した商品紹介文のなかに、「この商品は全国品評会で金賞を受賞した」という一文があった。神谷は商品の仕入れ情報と公式カタログを確認したが、そのような受賞歴はどこにも記載されていない。気になってメーカーのサイトも開いてみたが、賞の話は一切出てこなかった。

さらに読み進めると、「創業以来50年の伝統製法で作られた」という表現も見つかった。しかし、このメーカーの会社案内には創業30年と書かれている。20年もずれている。

神谷

西園寺さん、ちょっと聞いていただいてもいいでしょうか。AIが書いてくれた文章のなかに、事実と違うことが入っていました

西園寺

どんな内容だったの？

神谷

『全国品評会で金賞を受賞した』と書いてあるんですが、仕入れ資料にもメーカーの公式サイトにも、そんな記述はないんです。それから『創業以来50年の伝統製法』とも書いてあるんですが、実際は創業30年くらいの会社で……

西園寺

神谷くん、よく気づいたわね。それは『ハルシネーション』と呼ばれる現象なの

神谷

ハルシネーション……。幻覚、という意味ですか？

西園寺

そう。直訳すると幻覚ね。ただ、AIの場合は、人間のように何かを見間違えているわけではないの

神谷

では、どういう意味なんでしょうか

西園寺

AIが、根拠を確認できない内容や、実際には存在しない情報を、もっともらしい文章として生成してしまう現象のことよ

神谷

つまり、文章として自然に見えても、事実とは限らないんですね

西園寺

その通り。AIが意図的に嘘をついているわけではないけれど、結果として事実と違う内容が混ざることがある。だから、公式サイトや仕入れ資料のような一次情報で確認することが大切なの。生成AIを使ううえで、いちばん最初に知っておいてほしい現象よ

ハルシネーションはなぜ起きるか

西園寺

ハルシネーションがどういう現象か分かったところで、なぜそんなことが起きるのか、LLMの仕組みから見てみましょう

神谷

あの『金賞受賞』も『創業50年』も、読んでいるあいだは何の違和感もありませんでした。なぜあんなに自然に書けてしまうんでしょうか

西園寺

違和感がないからこそ厄介なのよね。仕組みを見ていきましょう

西園寺

LLMがやっていることを、すごく単純に言うと、『いまある文の続きに、いちばん自然な単語は何か』を確率で選んで、一語ずつ書き足していくことなの

神谷

一語ずつ……。たとえば『この商品は』と書いたら、次は『おすすめです』とか『新発売の』とか、続きの候補が確率で並ぶイメージでしょうか

西園寺

そう、まさにそのイメージ。この『次にくる言葉の候補』ひとつひとつが、第2話で覚えた『トークン』ね。各トークンにスコアがついていて、文脈的にいちばん自然なものが選ばれる。これを最後まで繰り返すと、一見すんなり読める文章ができあがるの

西園寺

ここで大事なのは、LLMが選んでいる基準は『事実』じゃなくて『自然さ』だということ。たとえば商品の特徴を書いて、と頼まれたとき、LLMは『商品紹介文によく出てくる言葉』を確率的に組み合わせていく。受賞歴、伝統、こだわり、産地——どれも商品紹介文に頻出する型なのよ

神谷

だから『金賞受賞』『創業50年』みたいに、もっともらしい単語が選ばれてしまう……。それが事実かどうかは、LLM自身は判断していないわけですね

西園寺

そう。さらにもうひとつ。LLMが学習したデータのなかに、その商品の正確な情報が含まれていない場合、LLMは『情報がありません』と言う代わりに、似た文脈で出てきそうな言葉で穴を埋めてしまうことがあるの

神谷

学習データになかった事実を、それらしい言葉で埋めてしまう……。空白を埋める癖がある、と捉えるといいんでしょうか

西園寺

『分からない』と止まるよりも、『自然な続き』を出す方向に最適化されているから、空白を“もっともらしく”埋めてしまう。これがハルシネーションの一番分かりやすい起き方なの

神谷は少し背筋がのびる思いがした。AIが書いた文章があまりにも自然で説得力があったため、疑うことなく信じてしまうところだった。仕組みが見えると、AIを疑うのではなく、特性として付き合えそうな気がしてきた。

西園寺

自然に読めることと、正しいことは別。流暢さと正確さは別の物差しなのよ。ハルシネーションは『AIが意地悪をしている』のではなくて、『自然さで言葉を選ぶ仕組みの副作用』として理解するといいの

神谷

学習データに載っていなさそうな、固有の事実——うちの商品の受賞歴、創業年、限定情報、最新の数字——あのあたりが、ハルシネーションが起きやすい場所ですね

西園寺

その通りよ。逆に、よく知られた一般論や、世間に大量に書かれている話題は、リスクは比較的低いの。固有名詞、数字、日付、受賞歴、最新動向——そこは特に注意して見ていきましょう

どう対処するか

仕組みが分かれば、対処の方向も決めやすい。西園寺は、ハルシネーションへの対処法を3つに整理してくれた。

神谷

つまり、AIに任せきりにしてはいけないんですね。下書きまではお願いしていいけれど、公開する直前には必ず人が見る、という線を引く

西園寺

そう。AIは便利な下書きツールだけど、最終的な判断と責任は人間の側にあるの。とくにお客様に向けて発信する情報や、事実に基づく内容は、必ず一次情報で裏を取ることが大切よ

神谷

今回、最初に気づけてよかったです。もし確認しないまま載せていたら、お客様に事実と違う情報を伝えていたところでした

西園寺

神谷くん、自分で気づけたことが一番大事なのよ。ファクトチェック——事実確認の習慣を身につけることが、AIを安全に使う基本になるの

西園寺は、3つの対処法をさらに業務に落とすコツも添えてくれた。「一次情報での確認」は、社内のどこに正しい情報があるのかを最初に決めておくのがコツ。商品情報なら仕入れ資料とメーカー公式サイト、社内ルールなら本部の規程集、フェアの仕様なら企画書、というふうに「ここを見ればよい」を先に決めておくと、毎回探す手間が減って確認がぶれにくくなる。

「人間によるレビュー」は、誰がいつ見るのかを業務フローに組み込むのがコツ。書いた人と確認する人を分けると見落としが減る。さらに「お客様に直接届くもの」と「社内のたたき台」とで、レビューの厳しさを変えるのも実務的だ。ECサイトの公開文や店頭POPは厳しめに、社内メモは軽めに——という線引きを最初に共有しておけば、毎回迷わずに済む。

「出典を求める」は、AIに「根拠は？」と素直に聞いてみるところから。返ってきた出典がそれらしくても、リンクが本当に存在するか、原文に同じ記述があるかを必ず人が確認する。AIは出典のURLや書名そのものを“それらしく”作ってしまうこともあるからだ。

神谷

固有名詞、数字、日付、受賞歴、最新動向——このあたりを重点的に確認するチェックリストを作っておきます。ECサイトに載せる商品紹介文には、そのリストを一度通してから入稿する流れにします

西園寺

いいわね。来年の子育て家庭応援フェアの準備でも、たとえばフェア商品の説明文をAIに下書きしてもらうとしたら、このチェックリストを通してから店頭やECに出すといいわ。フェアは『子育て世帯のお客様に正しく届ける』ことが何より大事だから、ハルシネーションを止める仕組みを最初に作っておけば、現場のパートさんも安心して下書きを活用できるの

神谷

フェアは『何ができそうか』だけじゃなくて、『何を守らないといけないか』も含めて準備しないといけないんですね。今日の3つの対処法を、フェア用の作業手順の一番上に置きます