「AIは禁止」の前に、やることがある ― 嘘も方便のグラデーションと、ガードレールの設計

社内で生成AIを使えるようにした会社で、わりと高い確率で起きることがあります。

誰かが、AIが出した答えをそのまま貼り付けて社外に送ってしまう。中身に事実と違うところが混ざっていて、それが相手に届く。小さな騒ぎになる。そして次の会議で、こうなります。

「うちは生成AIの利用を制限しよう」

気持ちはよく分かります。事故が起きたのだから、蛇口を締める。組織としては真っ当な反応です。ただ、私はこれがいまいちばんもったいない結末だと思っています。

「AIは禁止」の前に、やることがある — 事故を理由にAIを制限するのが、いちばんもったいない

「嘘をつかないAI」を待っていればいいのか

そのうち、ハルシネーションを限りなく起こさないAIが出てくるかもしれません。実際、その方向の改善は進んでいます。

ただ、これはたぶんトレードオフです。

嘘を書かないということは、確かなことしか書かないということです。踏み込まない、飛躍しない、言い切らない。無難なところに収束していく。私たちがAIに助けられている部分、つまり思いつかなかった切り口を出してくるとか、まだ言葉になっていないものを形にしてくれるとか、あれは同じ蛇口から出ています。嘘と発想は、そんなにきれいに分けられない。

だから「完璧に正確なAIが出るまで待つ」は、あまり良い戦略に思えません。待っている間にも仕事は進むし、そもそも待った先にあるものが期待どおりとは限らない。

じゃあ、社員のリテラシー頼みか

もうひとつのよくある答えが、「使う人の力量を上げましょう」です。

これも半分は正しい。前回書いたとおり、うちの採用テストで見えたのは、AIを使うかどうかではなく疑う姿勢があるかどうかで人が割れるという事実でした。姿勢は間違いなく効きます。

ただ、ここで止めるのも危ないと思っています。「気をつけましょう」は、運用設計ではありません。

人は疲れるし、急ぐし、忙しい日に限って確認を飛ばします。姿勢に全部を預けた仕組みは、いちばん忙しい日に破れる。そして破れたときに、「本人の不注意」で終わってしまう。それでは同じことがまた起きます。

リスクは、仕組みの側でも下げられる

捏造を含んだまま外に出てしまうリスクは、人の心がけとは別に、構造で下げられます。

入り口：そもそも何を入れてよいか、何を入れてはいけないかを決める
生成中：作らせないもの（断定的な数値、確定していない約束）をあらかじめ外す
出口：社外に出るものは、必ず人が通る経路にする。ここを飛ばせない導線にしておく
事後：誰が最終責任を持ったのかが残る形にする

こういう仕組みは「ガードレール」「ハーネス」といった呼ばれ方をします。呼び方はどうでもよくて、要は踏み外しても崖まで行かないようにしておくという発想です。二重チェックの構造もその一種です。

大事なのは、これがチャットAIを配るだけでは絶対に手に入らないということです。ツールを導入した、アカウントを配った、使い方研修をやった。そこまでで止まっている会社が本当に多い。でも事故が起きるのは、その先の、誰も設計していない領域です。

その領域をどう作るか。これがAIビジネス企画なんだと思っています。

ただし、発想の原点はシステムではない

ここで話が終われば、これは情シスやエンジニアの仕事になります。でも、そうはならない。

ガードレールを置くには、何を止めて、何を通すのかを決めなければいけません。そしてその線は、技術では決まらない。会社として仕事をどう捉えているかでしか決まらない。

ここが、この話のいちばん面白いところだと思っています。

「嘘も方便」には、グラデーションがある

具体的に考えてみます。

書類を出してくれない相手に、催促のメールを書くとします。AIが登場するずっと前から、人間はこういう文章を書いてきました。

「提出していないのは、あなただけですよ」
「いつまでに出していただかないと、困ることになります」
「部長がお冠ですよ」

実際にはその人だけではないかもしれない。特に困らないかもしれない。部長は何も言っていないかもしれない。それでも、こういう表現は使われてきた。

ここには白に近いグレーから、黒に近いグレーまで、はっきりとグラデーションがあります。そして、どのラインまで許容するのかは、明文化されてこなかった。個々人の感覚か、責任者の胸三寸で決まっていた。

部長が「俺を出しにするなよ」というタイプならアウト。「俺の名前はうまく使え」というタイプなら処世術。同じ文面が、上司が違うだけで評価が逆になる。それが、これまでのビジネスの慣習でした。

AIの捏造は、人間がやってきたことと同じ

さて、AIにこの催促メールを書かせると、どうなるか。

適当な理由をでっち上げてきます。 「経理の締めの都合上」とか「他部署との調整の関係で」とか、それらしい事情を作って、角が立たないように仕上げてくる。

これ、人間がやってきたこととまったく同じです。特別に邪悪なことをしているわけではない。むしろ、うまい。

違うのはひとつだけ。その方便が許される範囲のものなのか、それともアウトなのかを、AIは判断できないということです。相手との関係も、社内の力学も、うちの会社が何を大事にしているかも、AIは知らない。知らないまま、いちばん滑らかなところに線を引く。

だから、最終的な成果物の判断は人間が持つ。 ここは譲れない。譲ってはいけない。

そして、そのスタンスさえ決まっていれば、それをアシストするAI技術はいくらでもあります。人が判断すべき箇所を目立たせる、根拠のない断定を検出する、確定していない情報に印をつける。人が最後を持つと決めたときに初めて、そういう技術が意味を持ちます。

だから、順番はこうなる

整理すると、こうです。

会社として、どこまでが方便で、どこからがアウトかのスタンスを決める
そのスタンスを、仕組み（ガードレール・チェック経路）に落とす
その上で、AIを積極的に使う
最終的な成果物の判断は、人間が持つ

多くの会社が、この順番を逆からやろうとしています。まずツールを入れて、事故が起きて、慌てて禁止する。順番が逆だから、禁止しか手が残らない。

AIを嫌うのではなく、積極的に導入する。そのためにこそ、先にスタンスを決める。 制限は、スタンスが無いことの代償として払わされるものだと思っています。

演習：催促メールの線を、組織で引いてみる

この話、社内でやると相当に盛り上がります。90分あれば回ります。

進め方

実際にありそうな催促の場面を設定し、AIにメール文を書かせる
出てきた文面の中の「方便」に、各自が白／グレー／黒の線を引く
全員の線を並べる
必ず割れます。 割れたという事実から始める
「うちの会社としては、どこまでか」を1枚にまとめる

この演習の狙い

ポイントは、正解を配らないことです。線が割れることそのものが発見なので。「みんな同じ感覚で仕事をしていると思っていたが、全然違った」と分かるところに価値があります。

そしてこれは、AIリテラシーの研修ではなく、組織の意思決定の演習になります。AIを題材にすると、これまで胸三寸で処理されてきたものを、正面から議論のテーブルに載せられる。AIが来たおかげで、明文化する必然性が生まれたとも言えます。

まとめ

事故が起きると会社は「生成AIは制限しよう」に振れる。これがいちばんもったいない
「嘘をつかないAI」を待つのも手ではない。嘘を書かないことと、無難に収束することはトレードオフの関係にある
社員のリテラシー頼みも足りない。「気をつけましょう」は運用設計ではない
リスクは仕組みで下げられる。入り口・生成中・出口・事後の4カ所にガードレールを置く
ただし、何を止めて何を通すかは技術では決まらない。会社として仕事をどう捉えるかで決まる
催促メールの方便に白から黒までのグラデーションがあり、許容ラインが責任者の胸三寸で決まってきたのと同じこと。AIの捏造は、人間がやってきたことの延長線上にある
違うのは、方便かアウトかをAIが判断できないこと。だから最終的な成果物の判断は人間が持つ
AIを嫌うのではなく、積極的に入れる。そのために先にスタンスを決める

前回の記事はこちら：AIの捏造は、派手な嘘の顔をしていない／第1回：「AIで何かやれ」から始まった企画は、なぜ通らないのか

次回は、少し引いた土台の話をします。「DXはもう古い、これからはAI」という言い方が増えましたが、AIビジネス企画の根底にはDXがなければいけない。経産省のデジタルスキル標準を手がかりに、AIの登場で「役割の垣根」が溶け始めている話と、それが中小企業にとって朗報でしかない理由を書きます。