AI活用
社内データをAIに渡す技術・RAG：なぜ72%が失敗するのか
「ChatGPTを社内で使い始めたのに、自社の商品価格や過去のクレーム対応を聞いても何も知らないと言われる」——そんな経験はないだろうか。
当然だ。ChatGPTは2024年以前の公開情報で学習した汎用AIであり、あなたの会社の社内マニュアル、営業資料、議事録を一切知らない。どれほど優秀なAIでも、読んでいない文書には答えられない。
この問題を解決するのがRAG（Retrieval-Augmented Generation、検索拡張生成）だ。社内文書をAIに「手渡す」技術として、宮崎銀行が稟議書作成を40分から2分に短縮し、Morgan Stanleyが16,000人のアドバイザーに展開している。だがエンタープライズRAGの72%が1年以内に失敗するという現実もある。
なぜ失敗するのか。どうすれば成功するのか。中小企業が今日から試せる方法は何か。この記事で整理する。
ChatGPTが「自社のことを知らない」構造的な理由
「AI、万能じゃないか」と思われている割に、ChatGPTで社内のことを聞くと途端に頼りなくなる。理由は単純だ。
LLM（大規模言語モデル）はインターネット上の膨大なテキストで事前学習されているが、その学習にはカットオフ（締め切り日）がある。更新後の情報はない。しかも最初から社内情報は含まれていない。あなたの会社の就業規則、製品仕様書、顧客対応の過去履歴——これらはどのLLMにも入っていない。
社内のことを聞くと「それについての情報を持ち合わせていないため、お答えできません」と正直に答えてくるか、最悪のケースでは「それっぽい嘘（ハルシネーション）」を生成する。
ここで一般的な解決策として「ChatGPTにPDFを貼り付けて読ませる」という方法がある。短期的には機能するが、限界がある。一度の会話で扱えるテキスト量（コンテキスト長）には上限があり、数十万文字に及ぶ社内文書全体を毎回貼り付けるのは現実的でない。RAGはこの問題を別の方法で解く。
RAGとは何か：図書館員に本棚を渡す話
RAGを一言で説明するなら、「AIが質問に答える前に、まず自分で関連文書を探してから答える仕組み」だ。
図1: RAGの3ステップと通常のChatGPTとの違い
図書館員の比喩が分かりやすい。通常のChatGPTは本棚のない図書館員だ。何でも知っているが、あなたの会社の規則集や過去のクレーム記録は知らない。RAGは、あなたの会社の書庫をその図書館員に渡した状態だ。「この棚の本を使って答えてください」と条件を付けることで、社内固有の情報に基づいた回答が得られる。
RAG・ChatGPT・ファインチューニングの違い
「RAGとファインチューニングって何が違うの？」という疑問が出るはずだ。整理すると以下のようになる。
| 方法 | 費用目安 | 社内データ対応 | 情報の更新 | 向いている用途 |
|---|---|---|---|---|
| 通常のChatGPT | 月3,000円〜 | × | 不可 | 汎用タスク全般 |
| ChatGPT Enterprise | 月3,000円/人〜 | △（ファイル添付） | 都度アップロード | 手軽なスタート |
| RAG（SaaS型） | 月1万〜10万円 | ◎ | リアルタイム | 社内ナレッジ検索・問い合わせ対応 |
| ファインチューニング | 数百万円〜 | ◎ | 再学習が必要 | 特定分野の高精度化 |
中小企業が検討すべき順番は、①ChatGPT Enterpriseで試す → ②SaaS型RAGに移行 → ③必要であればカスタム構築、だ。ファインチューニングは最後の手段で、ほとんどの業務課題はRAGで十分解決できる。
実践事例：宮崎銀行は稟議書作成を40分から2分に短縮した
「大企業の話でしょ」と思った方に、まず宮崎銀行の事例を紹介したい。地方銀行でも、RAGは現実に動いている。
宮崎銀行は融資の稟議書作成にRAGを導入した。従来、担当者が規則集や過去事例を手作業で調べながら作成していた稟議書は、1件あたり平均40分かかっていた。RAGで社内規則・判例・過去の類似稟議を自動検索できるようにした結果、作成時間は2〜3分に短縮された。削減率は95%だ（出典：複数メディア）。
重要なのは、宮崎銀行は「AIを使って稟議書を書かせた」わけではない点だ。担当者が判断する。AIは「関係する文書を全部引っ張ってきて整理する」部分だけを担った。この役割分担が成功の鍵だった。
他の国内事例を見ると、規模感が出てくる。
- LINEヤフー：RAGを使った社内業務効率化ツール「SeekAI」を全従業員に展開。年間70〜80万時間の削減を目標に掲げ、カスタマーサポート業務では98%の正答率を達成（出典：LINEヤフー公式）
- ファミリーマート：店舗督促員の本部問い合わせ対応と研修資料作成にRAGを活用し、関連業務時間を最大50%削減（出典：各メディア報告）
- 三井住友銀行：社内AI「SMBC-GAI」にRAG機能を搭載し、約130万件の社内ファイルを横断検索可能に（出典：ITMedia AIプラス、2025年10月）
ファミリーマートはコンビニのフランチャイズ管理業務だ。業務の規模感は中小企業に近い。「自分たちには関係ない」話ではない。
グローバル事例：Morgan StanleyとKlarnaが見せた可能性と限界
海外の先進事例を見ると、RAGの成熟した使い方と同時に「やりすぎの失敗」も見えてくる。
Morgan Stanley（米国・金融）は、GPT-4ベースのRAGシステム「AI @ Morgan Stanley Assistant」を約16,000人のファイナンシャルアドバイザーに展開した。100,000件の調査レポートや社内文書を横断検索できる環境を構築した結果、文書へのアクセス率が20%から80%に跳ね上がり、FAチームの98%が日常業務で使うツールとなった（出典：OpenAI公式）。
注目すべきは「何を自動化したか」だ。アドバイザーの判断を自動化したのではなく、「情報を探す時間」を自動化した。RAGの最も素直な使い方がここにある。
一方、Klarna（スウェーデン・フィンテック）の事例は教訓に富む。同社はAIで月130万件の顧客会話を処理し、年間6,000万ドルのコスト削減を報告した。だがその後、「人間のエージェントの方が品質が高い」という理由で人員を再び増やす方針に転換した（出典：各メディア）。
「AIで人を全部置き換えた」のではなく、AIが難しいケースや感情的な対応が必要なケースを人間に振る仕組みが後から必要になった。初期の「AI万能」設計が修正を余儀なくされた事例として、日本の導入計画に取り込むべき視点だ。
72%が失敗する理由：技術ではなくデータの問題
エンタープライズRAGの72%が1年以内に機能不全に陥るというデータがある（出典：ragaboutit.com）。成功率28%というのは、決して高くない数字だ。なぜこれほど失敗するのか。
一般的な説明は「技術的な難しさ」だ。だが実際の失敗を分析すると、技術は二次的な要因で、本質的な問題は別にある。
図2: RAGが失敗する3つの根本原因
失敗原因の67%はデータ品質の問題だ（出典：Analytics Vidhya）。古い文書、矛盾する情報、メタデータ（「これは何の文書か」という情報）が欠如したファイルを無秩序にシステムに投入すると、AIも混乱した答えを出す。「ゴミを入れればゴミが出る（Garbage In, Garbage Out）」は、AIにも例外なく当てはまる。
私たちLat91でも、社内ドキュメントをベクトルDB（RAGで文書を保存するデータベース）に投入した経験がある。最初に気づいたのは「古いドキュメントが新しい答えを汚染する」問題だ。1年前の価格表と現在の価格表が混在すると、AIはどちらを正とするか判断できず、中間的なでたらめな数字を答えることがある。整理されていないデータは、整理されていないまま入ってくる。
2つ目の失敗は「更新の放置」だ。RAGは生き物だ。社内の規則が変わり、商品が変わり、担当者が変わっても、ベクトルDBを更新しなければAIの知識は古いままだ。「導入した直後は動いた。3ヶ月後に誰も使わなくなった」という報告が多い背景にはこれがある。
3つ目は「成功の定義がない」問題だ。「正答率80%で本番稼働」と決めていなければ、誰も評価しない。評価しないから問題に気づかない。気づいたときにはユーザーの信頼を失っている、という状況が繰り返されている。
中小企業の始め方：今日から試せる3つのアプローチ
良いニュースがある。RAGは大企業専用でも、高額なシステム開発が必須でもない。入口は3段階ある。
段階1：無料で試す — Google NotebookLM
今日から試せる最速の方法は、GoogleのNotebookLM（無料）だ。PDFや社内文書をアップロードすると、その内容についてAIと対話できる。社内マニュアル5〜10本を入れて「〇〇の手順は？」「△△に関するルールは？」と聞いてみると、RAGの動作原理を体感できる。
ただし限界も明確だ。大量文書の管理・権限設定・他システムとの連携は難しい。「こんなことができるんだ」を確認するツールとして使い、業務適用には次の段階に進む。
段階2：SaaS型RAG — 月1万〜10万円
本格的に業務に組み込むなら、SaaS型のRAGプラットフォームが現実的だ。国内外に複数の選択肢がある。社内文書を登録し、権限設定をして、Slack等の既存ツールと連携する——これをコードなしで実現できる製品が増えている。
費用感は月1万〜10万円が多い。ユーザー数や文書量によって変わる。まず小さな部署・用途（例：人事の規定検索、営業の製品FAQのみ）でパイロット導入し、効果を測定してから全社展開が定石だ。
段階3：カスタム構築 — 数百万円〜
既存のSaaSでは要件が満たせない場合（セキュリティ要件、特殊なデータ形式、他システムとの深い連携など）はカスタム構築になる。AWS・Azure・GCPといったクラウドのAIサービスと、Langchain等のフレームワークを組み合わせる。開発費は数百万円〜。金融機関や医療機関ではこのルートが多い。
ただし中小企業の多くは段階2で十分だ。「カスタム構築しないと始められない」という先入観が、RAG導入を遠ざけている。
よくある誤解と、正直な回答
RAGについて「でもそれって…」という疑問が出てくるはずだ。正面から答える。
「社内データをクラウドに送るのはセキュリティ上ダメでは？」
これは最もよく聞く反論で、正当な懸念だ。ただし現実には、Microsoft Azure・Amazon Bedrockベースのサービスは「データを外部のAI学習には使わない」オプションがあり、金融機関も採用している。三井住友銀行が導入できているのはそのためだ。クラウドRAGを一律に危険視する前に、具体的なデータフローとサービス規約を確認することが先決だ。
「結局、社内文書を整理する手間がかかるから本末転倒では？」
これも正しい指摘だ。RAGを導入するにあたって、社内文書の棚卸しと整理は避けられない。ただし「整理しなければRAGが機能しない」は言い換えると「社内文書の整理がRAG導入の外付けドライバーになる」とも言える。長年後回しにしてきたナレッジ整備が、RAG導入を機に進む企業は少なくない。文書整理のコストを嫌がるなら、RAGより先に着手すべき課題がある、ということでもある。
「効果が出るまでに時間がかかるのでは？」
試作（PoC）は2週間で完成する。ただし「社員が日常的に使うツールとして定着する」までには3〜6ヶ月かかる。特にマニュアルを「探して読む」習慣が「AIに聞く」習慣に変わるには、定着支援が必要だ。ツールを入れれば終わり、ではない。
まとめ：RAGは技術より先に整理が必要
RAGについて整理する。
- RAGは「社内文書をAIが検索してから答える」技術で、ChatGPTの「社内のことを知らない」問題を解決する
- 宮崎銀行の稟議書95%削減など、日本でも具体的な成果が出始めている
- エンタープライズRAGの72%が1年以内に失敗する。原因の67%はデータ品質の問題
- 中小企業の入口はNotebookLM（無料）またはSaaS型（月1万〜10万円）が現実的
- 技術より先に、社内文書の整理と「どの業務課題を解くか」の定義が必要
核心を一言で言えば：RAGで失敗するのはAIのせいではなく、データのせいだ。 どれほど優れたAIも、混乱した情報の山からは混乱した答えしか出せない。逆に言えば、社内情報の整理さえ先にやれば、RAGは驚くほどよく機能する。
2026年現在、世界のエンタープライズAI活用の70%以上がRAGを中核技術として採用しているという報告がある（出典：Gartner）。「RAGはいつか試してみる技術」から「今年中に着手する技術」に変わっている。
Lat91では、AIエージェントの設計・導入から運用まで、一気通貫でサポートしています。
「社内データをAIで活用したいが、何から整理すればいいかわからない」という方は、まずは無料相談でお気軽にどうぞ。御社の文書環境と業務課題をもとに、現実的な第一歩を一緒に設計します。