生成AI導入のリスク：情報漏洩より怖い「正確そうな嘘」問題
2023年4月、SamsungのエンジニアがバグのあるソースコードをChatGPTに貼り付けた。その後、会議の議事録も要約させた。3週間で3件。発覚したのはセキュリティ部門が通信ログを解析したからだ。Samsungは即座にChatGPTを全社禁止にした。ニュースになり、日本企業も続々とChatGPT禁止令を出した。
同じ頃、大西洋の向こうでは別の問題が起きていた。米国の弁護士がAIを使って作成した訴訟書類を、確認せずに法廷に提出した。そこに引用されていた判例23件は架空だった。裁判所が調べると、引用文献はどこにも存在しなかった。AIが自信満々に作り上げた嘘だった。
どちらのリスクが業務に深刻か。多くの経営者に聞くと、答えはほぼ全員「情報漏洩」だ。そして、その前提が間違っている。この記事では、Lat91が10体のAIエージェントを運用してきた経験と、海外の最新データをもとに、生成AI導入における見えるリスクと見えないリスクの構造的な違いを整理する。
2種類のリスクはなぜ性質が違うのか
まず、2つのリスクの性質を並べてみる。
この表を見ると、情報漏洩は骨折に似ている。痛みがあるから気づく。対処が明確だから治療できる。骨折した人間を放置する組織はほぼいない。一方、ハルシネーションはメタボリックシンドロームに近い。自覚症状がない。気づいたときには、誤った判断が業務プロセスの深い部分に入り込んでいる。
もう一つ、構造的な違いがある。情報漏洩は何が漏れたかが事後でも特定できる。ところがハルシネーションは、どの判断がAIの誤情報に基づいていたかを遡るのが非常に難しい。誰がどのAI出力を参照して、どの意思決定をしたか — その経路を記録している企業はほとんどない。
LLM（大規模言語モデル）の設計上の問題でもある。ChatGPTやClaudeは、確信度が低くてもそれらしく聞こえる文章を生成する。わかりませんと答えるより、もっともらしい答えを出力する方がユーザーに好まれるため、そういう方向に調整されている。ハルシネーションは、バグではなく仕様に近い面がある。これが対策を難しくしている。
ハルシネーションの業務インパクト（数字で示す）
ハルシネーションが起きるという話は聞いたことがあっても、実際のビジネス損害を定量化した情報は少ない。数字を見ていく。
法律分野から始める。2026年2月時点で、弁護士が法廷に提出したAI生成の虚偽引用は1,227件以上に上る（Damien Charlotin調査）。その中でも象徴的なのが、オレゴン州連邦裁判所の事件だ。2名の弁護士がAIで作成した書類に、存在しない判例23件と架空の引用8件が含まれていた。裁判所は2名に合計$110,000の制裁金を科した。問題は金額ではなく、弁護士自身がAIの出力をそのまま信じた点だ。専門家でさえ区別できなかった。
金融分野では数字がより具体的になる。金融企業は四半期あたり平均2.3件の重大なAI誤り（誤ったリスク評価、誤ったレポート要約など）を経験しており、1件あたりの損失は$50,000から最大$2.1百万に達する。これは個別企業の内部調査データではなく、複数の金融機関のインシデントレポートを集計した数字だ。
グローバル規模で見ると、2024年のAIハルシネーション関連損失は$67.4 billionに達した（出典: The $67B Hallucination Killing Enterprise AI）。2025年の予測は$112 billion。1年で1.6倍に膨らむ理由は単純で、AI利用が増えているにもかかわらず、誤出力のチェック体制が追いついていないからだ。
もう一つ、見落とされがちなコストがある。EY 2025年調査に基づく試算によれば、従業員は週平均4.3時間をAI出力の検証に費やしている。年換算で約224時間。月給40万円（時給換算2,500円）の社員なら、年間56万円の検証コストだ。50人組織なら年間2,800万円が、AIの答えを確認する作業に消える。
なぜ企業はこのコストに気づかないのか。理由は、検証という行為が通常業務に溶け込んでいるからだ。AI出力を確認する時間は、タスク管理ツールにAI検証とは記録されない。資料作成、調査、確認作業として計上される。だから、組織全体でのコストが見えない。
しかも、検証の質が均一でない点が厄介だ。ベテランの社員が見れば気づく誤りも、新人が処理すれば通過してしまう。AIが言っているから正しいはずという過度な信頼が、組織内で形成されていくケースも報告されている。
情報漏洩リスクの実態と対策の成熟
Samsung事件の全体像を整理する。2023年4月、同社のエンジニアが半導体設計に関わるソースコードをChatGPTに貼り付けた（バグ修正の助けを求めた）。別のエンジニアは社内会議の議事録をChatGPTに送って要約させた。もう1名は社内のテスト結果に関する文書を送った。3週間で3件。Samsungはその後、全社でのChatGPT利用を禁止した。
この事件が象徴的なのは、悪意がなかった点だ。エンジニアは仕事を効率化しようとしただけだった。だが、ChatGPTに送った情報はOpenAIのサーバーに蓄積され、将来のモデル学習に使われる可能性があった（当時の利用規約では除外されていなかった）。
ただし、2025年現在、このリスクへの対処は相当整理されている。OpenAIのAPIを経由して利用する場合、入力データは学習に使われない（OpenAI APIポリシー）。ChatGPTのウェブ版やアプリ版でも、設定でデータをモデル改善に使用しないよう選択できる。AnthropicのClaude APIも同様で、APIから送信したデータはモデル学習に使用しない（Anthropic使用ポリシー）。
日本企業の多くがChatGPTを禁止したのは、2023年時点の情報で判断したためだ。当時は妥当な対応だった。ただ、2026年時点でもChatGPT全面禁止のまま固定している企業は、対策のアップデートが止まっている状態と言える。情報漏洩対策は比較的シンプルに整理できる。
- APIベースの利用に切り替える（学習非利用が担保される）
- 利用可能なデータカテゴリを明文化したポリシーを作る
- 社内機密文書はRAG（検索拡張生成）で局所的に与える構成にする
- 社員向けのガイドラインを半年ごとに更新する
これらは技術的に複雑ではない。予算がかかるわけでもない。必要なのは、担当者が最新ポリシーを把握し、ルールを文書化する手間だけだ。
一方で、ChatGPTを禁止したから情報漏洩リスクがゼロになるわけでもない。社員が個人端末で個人アカウントを使えば、企業は把握できない（シャドウAI問題）。禁止は管理された利用を阻害しながら、管理外の利用を温存する逆効果になりうる。情報漏洩対策の本質は、禁止ではなく管理された利用環境を整備することにある。
Lat91での実際のリスク管理
Lat91では現在、10体のAIエージェントを構築・運用している。X投稿の管理、SEO記事の生成、モーニングブリーフィングの配信、営業資料の作成 — 業務の中核にAIが入り込んでいる。その中で最も苦労したのは、情報漏洩ではなくハルシネーション管理だった。
最初に痛い目を見たのは、市場調査タスクだ。エージェントが競合の最新動向を調べて要約したレポートを生成した。読んだとき、なんとなく違和感があった。調べてみると、引用されていた数社のプレスリリースが存在しなかった。エージェントが、実際のニュースのそれっぽい続きを作り上げていた。
この経験から、Lat91では以下の運用ルールを設けた。
数字と固有名詞は必ず別途確認する。 エージェントが出力した数値（市場規模、競合の売上、調査結果）と、固有名詞（企業名、人名、製品名）は、別の手段で一次ソースを確認するまで使わない。エージェントがGartner調査によると書いても、Gartnerのウェブサイトで該当レポートを確認するまでは仮の情報として扱う。
高ステークスな判断ではAI出力を叩き台として使う。 クライアントへの提案内容、予算判断、採用評価 — こうした文脈では、AIの提案をスタート地点として使い、最終判断は必ず人間が行う。AIがROIを試算しても、その数字の根拠を分解して検証する手順を組み込んでいる。
AIに確信度を出力させる。 プロンプトに、回答の確信度を高・中・低で示せという指示を加えている。AIが低と出力したら、そのセクションは追加リサーチの対象になる。完璧ではないが、低の出力が注意信号として機能するため、見落としを減らせる。
情報漏洩への対策も決めている。Anthropic APIを使用しているため、送信したデータはモデル学習に使われない。社内の機密文書をエージェントに処理させる場合は、RAGの仕組みで必要最小限の情報だけを文脈として与える設計にしている。
ただし、これらの対策に限界があることも正直に言う。確信度の出力は、AIが自分の誤りを認識している場合にしか効かない。自信満々の誤りはAIが確信度を高と出力する可能性が高い。MedHallu（2025年ベンチマーク）によれば、医療領域では最良モデルでもハルシネーションの検出F1スコアは0.625にとどまる。AIにAIの誤りを検出させても、完全には機能しない。
よくある誤解と反論
ここまで読んで、うちは大丈夫と感じた経営者もいるかもしれない。その感覚が危ない場合があるので、よくある3つの誤解を整理する。
誤解1: 精度の高いモデルを使えばハルシネーションは減る
部分的には正しい。精度の高いモデルは、事実に基づく出力が増える。ただし、もっともらしい嘘をつく能力も同時に上がる。GPT-4やClaude Opusのような高性能モデルが生成するハルシネーションは、GPT-3のような初期モデルが生成するものより、人間が見て正しそうと感じやすい。文章の流暢さ、構成の緻密さ、引用の形式的な正しさ — これらが上がるほど、誤りを見抜くのが難しくなる。
先のオレゴン州の事件でも、弁護士が提出したAI生成書類は判例引用として形式的に正しい体裁を保っていた。だから見逃した。精度が上がれば安全になるは、一面的な理解だ。
誤解2: 事実確認すれば問題ない
その通りなのだが、前述のように週4.3時間（EY 2025年調査に基づく試算）のコストが発生する。50人組織なら年間2,800万円相当の検証コストを負担しながらAIを使うことになる。AI導入で生産性が20%上がったという試算と、この検証コストを差し引いた純効果を計算した企業は少ない。
加えて、全員が同じ質で確認できるわけではない。法律の専門家でなければ、判例が存在するかどうかを確認するのは難しい。医師でなければ、薬の相互作用に関するAIの記述が正しいかを判断できない。専門性が必要な領域ほど、確認コストが跳ね上がる。
誤解3: 機密情報を入れないから大丈夫
これは情報漏洩リスクへの対策としては有効だ。ただし、ハルシネーションとは無関係だ。機密情報を入れないことと、AIが正確な情報を返すことは、まったく別の話だ。公開情報だけを扱っていても、AIが架空の統計を引用したり、存在しない製品情報を生成したりするリスクは変わらない。
この誤解が特に危険なのは、対策している安心感を生みながら、ハルシネーションリスクをまったくカバーしていないからだ。情報漏洩対策と、ハルシネーション対策は、別々に設計する必要がある。
月曜日から始めるリスク管理
ここまでを整理する。
- 情報漏洩リスクは見えるリスク。対策は比較的確立しており、今から取り組めば短期間で整備できる
- ハルシネーションリスクは見えないリスク。技術的な完全解決策は存在せず、運用の仕組みで管理するしかない
- 多くの企業は前者に予算・注意を集中させ、後者への対策が手薄になっている
- AIの利用が広がるほど、ハルシネーションによる累積損失は加速度的に大きくなる
今日から実行できるアクションを3つに絞る。
1. ChatGPTの利用設定を確認・変更する。 ChatGPTのウェブ版を使っている社員がいるなら、設定からデータ制御を開き、モデル改善のためのデータ使用をオフにする手順を周知する。10分でできる。APIへの切り替えも検討する価値がある。
2. AI出力の確認ルールを1つ決める。 数字が入っている場合は出典を確認してから使う、という1行のルールでいい。全員が守れる最小のルールから始める。詳細なガイドラインを作ろうとして誰も守らないより、シンプルな1行から始めた方が実効性が高い。
3. 高ステークスな業務のリストを作る。 自社でAIを使っている（あるいは使い始めようとしている）業務を書き出し、誤りがあった場合の影響が大きい業務を特定する。そこだけでも、AI出力を最終判断に使わないルールを設ける。先のフレームワーク（右上の象限）に該当する業務から始める。
追加のリソースが必要な場合は、Lat91で公開している関連記事も参考にしてほしい。生成AIを企業で導入する際の全体像はこちらの記事、Claude Codeを使った業務自動化の実例はこちらの記事で詳しく扱っている。
AIを信じすぎないというのは消極的なアドバイスに聞こえる。実際には、AIを道具として正しく使うための出発点だ。道具の限界を知っている人間だけが、道具を最大限に活かせる。
Lat91では、生成AIの企業導入に関する相談を受け付けています。ハルシネーション対策の具体的な設計、情報漏洩防止のための利用ポリシー整備、AIエージェントの業務組み込みまで、実際に運用している立場からアドバイスします。