生成AIの間違いというと、「実在しない本を堂々と紹介してくる」みたいな、笑い話になるやつを想像すると思います。ああいうのは、正直そこまで怖くありません。明らかにおかしいものは、明らかにおかしいから気づける。
実務で刺さるのはそっちじゃない。自然に溶け込んでいるやつです。文体も変わらない、前後のつながりも自然、むしろ話がきれいに通っている。そういう一文が、提案書や企画書の真ん中あたりに、何食わぬ顔で座っている。
しかも実務には、致命的な条件がひとつあります。「この文書に捏造がいくつあるか」を、誰も教えてくれない。
全部を確認しはじめると、AIのチェックが仕事になる
じゃあ全部ファクトチェックすればいい、という話になりますが、これをやると本末転倒になります。
時間を短縮するためにAIを使ったのに、出てきた文章を一行ずつ裏取りしていたら、元の作業を自分でやるより時間がかかる。実際、そうやってAI利用をやめてしまった人を何人か見ています。「結局チェックが大変で」というやつです。
だから、確認する場所は絞らないといけない。そして絞るには、どこに潜みやすいかの見当が要る。うちで提案資料や記事を作りながら溜まってきた見当を、5つに整理しました。
捏造が潜みやすい、5つの場所
1. 固有名詞と数値がセットになっているところ
市場規模、シェア、統計の割合、法令の条番号、価格、日付、社名。出典が要る場所です。
ここが危ないのは、AIが「あるはずの数字」を作れてしまうからです。だいたいの相場感に合った、ありそうな数字が入る。しかも桁も単位も自然。文体が一切変わらないので、読んでいて引っかかりません。
「◯◯によると」という枕がついているときも同じです。出典の名前ごと自然に作られることがあります。
2. 一般論と、自社事情の接続部
「一般的に◯◯と言われています。御社の場合は〜」――この、橋を架けにきた文です。
ここが構造的に危ないのは、元になるデータがそもそも存在しないからです。あなたの会社の事情を書いた資料をAIは持っていない。持っていないのに橋を架けろと言われたら、埋めるしかない。だから接続部は、性質上いちばん生成の度合いが高くなります。
読むほうも、ここは「自分の話をしてくれている」と感じるので、無防備になりやすい。危険の掛け算です。
3. 網羅リストの、後半
箇条書きで5つ挙がっているとき、3つ目までは本物で、4つ目5つ目が怪しい、というパターンが本当に多い。
これは形式が嘘を要求しているんだと思っています。「5つ挙げて」と言われれば5つ出す。「主なポイントは以下の通りです」と書き始めた文章は、体裁として複数個を並べにいく。素材が3つしかなくても、リストの形が残りを埋めさせる。
なので、リストを見たら下から読む。これだけで検出率がかなり変わります。
4. 整合が、きれいすぎるところ
数字が妙に丸い。因果が一直線に通っている。分類に例外がひとつも無い。
現実の業務データって、もっと汚いんです。端数が出るし、例外が混ざるし、「これはどっちに入れるんだ」というものが必ずある。やたら気持ちよく整理されている箇所は、現実ではなく整合性を優先した結果であることが多い。
読んでいて「わかりやすいなあ」と感心したところ。そこは一回止まったほうがいい。
5. こちらの期待に、寄せてきたところ
いちばん見抜きにくいのがこれです。
こちらが「この方向で進めたい」という前提で聞くと、AIはその方向を補強する材料を出してきます。否定材料やトレードオフが一つも出てこないまま、話が前に進んでいる。読んでいて気持ちがいい。だから疑わない。
自分の企画に都合のいい根拠が並んでいたら、まずそれを疑う。気持ちよく読めた箇所ほど危ない、というのは5つ全部に通じる感覚です。
それでも全部は確認しない ― 突き合わせる文を選ぶ3条件
潜伏場所が分かっても、該当する文を全部裏取りしていたらやっぱり時間が溶けます。実際に突き合わせるのは、次の3つのどれかに当たるものだけ、と決めています。
- その一文が消えたら、結論が変わるか。根拠として効いている文だけを確認する。飾りの一文は間違っていても結論に影響しない
- 社外に出るか。顧客、公的機関、応募者、取引先の目に触れるものは全部確認する。社内メモとは事故の重さが違う
- 間違えたら取り返しがつくか。契約、申請、公開、採用の判断。一度出たら戻せないものは無条件で確認する
逆に言えば、3条件のどれにも当たらない文は、間違っていても大した事故にならない。そこを流す割り切りが無いと、AI活用は運用に乗りません。ここは効率の話ではなく、リスクの置き場所を決める話です。
結局、見抜けるかどうかは「自分の方針が固まっているか」で決まる
ここまで型の話をしてきましたが、いちばん効くのは型ではないと思っています。
AIの出力は、とにかく流暢です。読みやすくて、筋が通っていて、迷いがない。この流暢さに対抗できるものは、ひとつしかない。自分の中に、仕事の立場と方針があることです。
方針が固まっている人は、AIがその外側を埋めてきた瞬間に違和感が立ちます。「うちはそこは取らない」「その順番ではやらない」と体が反応する。事実を照合する前に、まず自分の基準との差で引っかかる。だから確認すべき場所に自然と目が行く。
逆に、方針が曖昧なまま出力を読むと、AIが埋めた「それらしい方針」をそのまま採用してしまいます。これがいちばん怖い捏造です。事実の捏造ではなく、判断の捏造。しかも本人は捏造だと思っていない。自分で考えたつもりになっている。
現場を見ていて思うのは、AIを使いこなしている人は、知識量が多い人ではないということです。立場がはっきりしている人なんです。何を大事にして、何を切り捨てる会社なのか。それが言葉になっていれば、AIは強力な下書き係になる。なっていなければ、流暢な文章に判断そのものを明け渡すことになる。
だからAI研修で本当に鍛えるべきは、プロンプトのテクニックより、自分の仕事の方針を言語化する力なんじゃないかと思っています。
「上司に頼まれた仕事」を、AIを使っていい状態でやってもらった
うちの採用では評価テストを使っています。そのひとつが、実務のシチュエーションをそのまま置いた設問です。
よくある形でいうと、上司から「この件、先方にメールしておいて」と頼まれる。渡された材料をもとに、実際にメールの文面を作ってもらう。ただそれだけです。
そして前提として、生成AIを使ってかまわないことにしています。禁止していません。禁止したら現実と違うからです。今どきこの手の仕事で、AIをまったく使わない人のほうが少ない。
設問そのものは公開しませんが、狙いはひとつです。AIを使っていい状況で、その人がどういう仕事の仕方をするのかを見たい。
きれいに二極化した
やってみて驚いたのは、結果がはっきり二つに割れたことでした。
片方は、設問を丸ごとAIに投げて、出てきた文章をそのまま貼って提出してくる。 渡した材料の中に引っかかるところがあっても、出力に紛れた捏造があっても、素通りしています。振り返った形跡がない。
もう片方は、まず渡された材料そのものを疑う。 そのうえでAIを使い、出てきた文章を精査して、自分の成果物として仕上げてくる。文面が丁寧かどうかの差ではなく、通っている工程が違う。
分かれ目はAIを使ったかどうかではありません。両方使っています。分かれ目は、疑ったかどうかでした。
しかも、疑う対象が二つあります。他人から渡された情報と、自分がAIに作らせたもの。この両方に疑いを持てる人と、どちらにも持てない人に割れました。片方だけ、というのはあまり出てこない。姿勢はセットで現れます。
これは生成AIの話ではなく、仕事の作法の話かもしれない
ここまで書いてきて自分でも思うのですが、これはたぶん生成AIの領域の話ではありません。
上司から渡された前提を鵜呑みにするか、一度確かめるか。自分が作ったものを、出す前に読み返すか読み返さないか。AIが登場するずっと前から、仕事の作法として存在していた分かれ目です。生成AIは、それを見えるようにしただけ。
そして厄介なのは、この領域に嘘と方便の境目が含まれることです。社外に出すメールで、まだ確定していないことをどう書くか。曖昧なところを、どこまで滑らかに埋めていいのか。実務には、嘘ではないけれど事実そのままでもない領域が確かにあって、その線を人はそれぞれの基準で引いています。
AIは、その線を引いてくれません。というより、放っておくといちばん滑らかなところに引いてしまう。角が立たず、読みやすく、疑問を持たれない文面に落ち着ける。それが正しい線とは限らないのに。
だから、さっきの話に戻ります。自分の方針が固まっていない人は、AIが引いた線をそのまま採用する。テストで見えていたのは、まさにそこでした。
個数を言わないのは、実務に個数が無いから
設計でひとつだけ決めていることがあります。紛れているものがいくつあるかを、受け手に伝えない。
個数を伝えた瞬間に「探すゲーム」になります。3つあると言われれば3つ見つけるまで探すし、3つ見つけたら止まる。でも実務にそんな親切はありません。答えの数が分からない中で疑い続けるのが現場です。
見ているのも正解数ではありません。どこを疑ったかと、疑った根拠に自分の基準があるか。「数字だから確認した」で止まる人と、「この一文が結論を支えているから確認した」と言える人とでは、実務での強さがまったく違います。
ただし、これを「個人の資質」の話で終わらせてはいけない
ここまで読むと、「じゃあ疑える人を採ればいい」「社員のリテラシーを上げよう」という結論に聞こえるかもしれません。でも、そこで止めると危ないと思っています。
実際、多くの会社がこの道を通ります。社内でAIチャットの利用を許可する → 誰かが出力をそのまま貼って送ってしまう → 事故が起きる → 「生成AIの利用は制限しよう」。この結末が、いまいちばんもったいない。
人の姿勢は大事です。今日の話も全部その話でした。でも、姿勢に頼る対策は仕組みではありません。「気をつけましょう」は運用設計ではない。捏造を含んだまま外に出てしまうリスクは、人の側だけでなく仕組みの側でも下げられます。外に出る前に必ず人が通る経路を作る、二重チェックの構造を入れる、そもそも何を入力してよいかを決める。方法はいくつもあります。
そして、チャットAIを配るだけでは埋まらないその領域を設計することこそが、AIビジネス企画なんじゃないかと思っています。この話は次回に書きます。
いちばんの収穫は、選考が速くなったことではなかった
最後にひとつ。今回やってみて、いちばん良かったのは効率ではありません。
人にはこういう違いがあるのか、と自分たちが気づけたことです。
採用って本来、ノウハウを身につけるのがものすごく大変な業務です。何人も見て、外して、しばらく経ってから「あのとき見えていなかった」と分かる。経験でしか積み上がらないし、中小企業はそもそも母数が少ないので、経験が溜まる前に次の採用が来ます。
それが、AIを挟んだことで同じ材料を同じ観点で読み比べられるようになりました。違いが並べて見えると、「うちが本当に見たかったのはここだったのか」が言葉になっていく。
AI導入の効果は、削減時間や処理件数で語られがちです。でも実際に効いたのは、社内の学習が速くなったことでした。これは工数の表には絶対に出てこない効果です。
明日から社内でできる、30分の演習
研修に持っていく形にすると、こうなります。会議の後半30分でも回せます。
進め方
- 自社の実際のテーマで、AIに提案書のドラフトを作らせる
- 作った人が、そこに捏造を数個混ぜる。混ぜた数は誰にも言わない
- 参加者に配って30分レビュー。「怪しいと思った箇所」と「なぜそう思ったか」を書き出す
- 答え合わせの前に、疑った理由を先に共有する
- 最後に正解を開示する
評価の観点（検出数では評価しない）
- 疑った理由が「なんとなく」ではなく、場所の型として説明できているか
- 3条件（結論が変わる／社外に出る／取り返しがつく）で優先順位をつけられているか
- 自社の方針に照らして「うちはこうしない」という違和感から入れているか
- 見逃した箇所が、確認しなくてよかった箇所かどうか（大事故につながる見逃しだけが問題）
4つ目が大事です。全部見つけることが目的ではなく、事故になるものだけ確実に止めるのが目的なので。
まとめ
- 実務で刺さる捏造は、派手な嘘ではなく自然に溶け込んだ一文
- 潜伏場所は5つ。①固有名詞＋数値 ②一般論と自社事情の接続部 ③リストの後半 ④整合がきれいすぎる箇所 ⑤期待に寄せてきた箇所
- 全部は確認しない。突き合わせるのは結論が変わる／社外に出る／取り返しがつかない文だけ
- 最後に効くのは自分の方針の解像度。方針が曖昧だと、事実ではなく判断を捏造される
- 採用テストで割れたのは、AIを使うかどうかではなく疑ったかどうか。他人が渡してきた情報と、自分がAIに作らせたもの、両方を疑えるか――これは生成AIの技術ではなく仕事の作法の領域
- ただし個人の資質の話で終わらせない。姿勢に頼る対策は仕組みではない。事故を理由に「AIは制限」に振れるのがいちばんもったいない
- そしてAI導入の一番の効果は、選考の効率ではなく社内の学習が速くなったことだった
前回の記事はこちら：「AIで何かやれ」から始まった企画は、なぜ通らないのか
次回は、その「仕組みの側」の話を書きます。AIを禁止する前にやることがある、という話です。そもそも人間だって、催促のメールで「提出していないのはあなただけですよ」くらいのことは昔から書いてきた。AIの捏造は、その延長線上にあります。じゃあどこまでが方便で、どこからがアウトなのか――それを決めるのは技術ではなく、会社のスタンスです。
投稿者プロフィール
Consultation
記事の内容を、自社の課題に置き換えて整理しませんか。
現状整理から、必要な取り組みと進め方を一緒に考えます。
相談してみる