「社内のマニュアルをすべてAIに読み込ませたのに、半年後には誰も使わなくなった」。この光景が、AI導入に取り組んだ日本の中小企業で繰り返されている。多くの経営者が真っ先に疑うのはAIの性能だが、実際の原因は別の場所にある。
RAG（Retrieval-Augmented Generation：検索拡張生成）は、社内文書をAIが参照しながら回答する仕組みで、2025〜2026年にかけて急速に普及している。ところが、ragaboutit.comの2026年調査によれば、エンタープライズRAGプロジェクトの80%が重大な失敗を経験している。そして失敗の73%は、LLMモデルの問題ではなく、AIが文書を検索する「リトリーバル」の段階で起きている（出典: ragaboutit.com、2026年「The Engineering Gap」）。
どれほど優秀なAIモデルを使っても、読み込む文書の質が低ければ使えない答えしか返ってこない。この記事では、RAG導入が失敗する構造的な理由と、Lat91が自社エージェントシステムを構築する中で学んだ文書整備の実践知を共有する。
RAGとは何か — 社内の「知識の壁」を超える仕組み
通常のChatGPTやClaudeは、学習済みのデータに基づいて回答する。自社の就業規則、製品仕様書、社内FAQ—これらは学習データに含まれていないため、AIは答えられない。あるいは「それらしい」でたらめを答える。RAGはこの問題を解決するために、「回答を生成する前に関連文書を検索して参照させる」仕組みだ。
動作は4ステップで構成される。社内文書をテキストに変換して小さな単位（チャンク）に分割し、各チャンクを数値ベクトルに変換してデータベースに保存する。ユーザーが質問すると、その質問に近いチャンクをデータベースから検索（リトリーバル）し、取り出したチャンクをLLMに渡して回答を生成させる。
図1: RAGの基本フローと、失敗の集中ポイント
このリトリーバルのステップが、RAG成否を分ける最大の変数だ。ところが、多くの企業はここより前段階の「どのAIモデルを使うか」「どのツールを選ぶか」に注目する。順序が逆になっている。
なぜ8割が失敗するのか — 問題は「読み込む側」ではなく「読み込まれる側」
forage.aiの2025年分析によれば、本番環境のRAGパイプラインの多くが精度65%で頭打ちになる。原因はモデルの能力ではなく、データの取り込み（Ingestion）層の問題だ。
NStarXとinnoflexionの2025年調査では、整備済みのデータでRAGを構築した場合の精度は85〜92%になる一方、未整備データでは45〜60%に留まる。同じLLMを使っていても、文書の質によって精度が2倍近く変わる。
何が問題になるのか。主な原因は3つだ。
OCR変換ミスによるテキスト破損。PDFを機械的にテキスト化すると、表・図・特殊文字が崩れる。崩れたテキストをチャンクにしても、モデルは正しく解釈できない。「第3条 休暇取得については別紙参照」のような文字化けが、回答の誤りを生む。
メタデータの欠落。ファイルがいつ作成され、どの部署の、どの版のものかがわからないと、検索精度は落ちる。「営業部向け2026年改訂版手順書」と「旧版2023年手順書」が同じ重みで検索される。
チャンキング設計の失敗。文書を分割するとき、注意書きや条件が2つのチャンクに分断されることがある。ragaboutit.comが報告した実例では、米国の医療機関でRAGが薬剤投与量の注意書きを分断して誤った回答を生成し、直接コストだけで470万ドル（約7億円）の損害が発生した。技術的な問題ではなく、文書設計の問題だ。
最も見落とされている罠 — 古いドキュメントほど優先される
RAGには、多くの企業が気づいていない構造的な問題がある。ragaboutit.comが「閲覧頻度バイアス」と呼ぶ現象だ。
ベクター検索では、ユーザーの質問と意味的に近いチャンクが上位に来る。このとき、長年参照されてきた重要文書（古い手順書、創業当時のマニュアル）は新しく更新されたガイドラインより優先されやすい。「参照頻度が高い文書は内容が充実している」という傾向があり、ベクター空間での近傍検索でも上位にヒットしやすいからだ。
ragaboutit.comは実際の事例として、米国の医療機関で2023年のCOVID-19治療プロトコルが2025年になっても優先的に参照されていたケースを報告している。新しいガイドラインを追加していたにもかかわらず、古い情報が回答に出続けた。
RAGは「最新情報を返す」のではなく「よく参照される情報を返す」仕組みだ。この認識なしに運用すると、古い情報が常に最新情報として出てくる状態が続く。定期的な文書監査がなければ、時間が経つほど回答の品質は下がっていく。
日本の中小企業に多い4つの失敗パターン
相談を受ける企業で、以下の4つのパターンが繰り返される。
パターン1：「共有フォルダをそのまま突っ込む」型。社内の共有フォルダにあるファイルをそのままRAGに読み込ませる。議事録、古いExcel、無関係な資料、個人メモが混在する状態だ。検索精度が低くなるのは必然で、これを「AIが使えない」と判断する。
パターン2：「更新担当者を決めていない」型。最初は動く。だが3〜6ヶ月後、社員が「古い情報が出てくる」と言い始める。文書の更新ルール（誰が、いつ、どの手順で更新するか）が決まっていないためだ。RAGは文書が更新されなければ、自動的に最新情報を取り込まない。
パターン3：「精度の定義を決めていない」型。ビジネス側は「間違った回答が出たら失敗」と考え、エンジニア側は「精度80%なら成功」と考えている。ゴールが曖昧なまま本番稼働する。半年後に「使えない」と言われて廃止になる。
パターン4：「PoC止まり」型。小規模なPoC（実証実験）では動いた。しかし全社展開した途端に崩れる。PoCでは手動で整備した文書を使っていたのに、本番では未整備の全社共有フォルダを読み込ませたからだ。条件が変わっていたのに気づかなかった。
Gartnerは2025年の予測として「AIプロジェクトの60%が2026年までにデータ不足で失敗する」と指摘している。これは技術力の問題ではなく、準備の問題だ。
成功企業は何を変えたか — 文書整備の3ステップ
ragaboutit.comが分析した成功事例の共通点は、文書整備への先行投資だ。LlamaIndexのベンチマークでリトリーバル精度92%を達成した実装では、定期的な文書監査フローが標準化されていた。
具体的には3つのステップを踏む。
ステップ1：文書の棚卸しと格付け。全文書を「RAGで使う文書」「アーカイブ」「削除」に仕分ける。基準は「社員がこの情報に質問するか」と「この情報は今も正しいか」の2点。2年以上更新されていない文書は原則アーカイブとし、RAGの読み込み対象から除外する。
ステップ2：文書の標準化。RAGに読み込む文書は、テキスト変換後の品質を確認する。表や図はテキストで補足説明を追加し、メタデータ（作成日・更新日・部署・対象読者）を全文書に付ける。チャンクの分割は段落単位を基本とし、重要な注意書きは分断されないよう調整する。
ステップ3：更新フローの設計。誰がいつ更新するかを決め、手順を文書化する。定期的にRAGが「古いまま返している文書」を監査する仕組みを作る。この監査がないシステムは、時間が経つほど劣化する。
ツール選定より先にやること — Lat91の実体験
LangChain、LlamaIndex、Glean、RAGFlow—RAGツールは多数ある。しかし、どれを選ぶかより先に決めるべきことがある。
Lat91では自社の10体のAIエージェントシステムにRAGの考え方を取り入れているが、最初につまずいたのはツール選定ではなかった。「どの文書をAIに見せるか」の基準を決めていなかったことだ。社内の意思決定ログ、過去の商談メモ、スキルドキュメントが混在した状態でパイプラインを動かしても、答えの品質はバラバラだった。
文書を棚卸しして、読み込む範囲と更新ルールを決めてから、精度が安定し始めた。ツールを選ぶのはそれからだ。どのツールも、入力する文書が整備されていなければ同じように失敗する。
参考として、主要ツールの特徴を整理しておく。LlamaIndexはドキュメントのインデックス化とリトリーバルの最適化が専門で、純粋なRAGの精度を求めるなら第一選択になる。LangChainはマルチステップのAIワークフロー全体をオーケストレーションするのに向いており、RAGと他の処理を組み合わせる場合に使いやすい。GleanはSlack、Google Workspace、Jira等のSaaSを横断するエンタープライズ向けプラットフォームで、2025年のGartner Innovation Guideでエマージングリーダーに認定されている。
「AIが賢くなれば文書品質は関係なくなる」への答え
この反論は理解できる。GPT-5やClaude 4のように、モデルが高性能になるほど粗いデータでも解釈してくれる。そう考えるのは自然だ。
ただし、原則は変わらない。どれほど高性能なモデルでも、「見ていない情報で推論することはできない」。チャンキングで分断された注意書き、OCRで文字化けしたPDF、2年前の手順書—これらをどれほど賢いモデルに渡しても、正しい回答は出ない。
さらに言えば、モデルが賢くなるほど「それらしい」誤った回答を自信を持って出すリスクが高まる。Gartnerが「60%が2026年までにデータ不足で失敗する」と予測した背景には、この傾向がある。問題がモデルの性能ではなくデータ品質にある以上、モデルの進化で解決する性質の問題ではない。
まとめ
- RAG導入の失敗は、LLMモデルの問題ではなくリトリーバル段階（失敗の73%）と文書品質の問題に起因する
- 整備済みデータではRAG精度85〜92%を実現できるが、未整備データでは45〜60%に留まる
- 古いドキュメントほど検索で優先される「閲覧頻度バイアス」が存在し、定期的な監査がなければ時間とともに品質が劣化する
- ツールより先に「どの文書を使うか」「誰がいつ更新するか」を決めることが成功の前提条件
- 文書棚卸し→標準化→更新フロー設計の3ステップを踏んでからツール選定に入る
RAGの可能性は本物だが、「入れれば動く」ツールではない。整備に投資した企業だけが、精度90%超の社内AIアシスタントを手にできる。
Lat91では、AIエージェントの設計・構築から文書整備の支援まで、一気通貫でサポートしています。
「RAGを試してみたいが、どこから始めればいいかわからない」という方は、まず無料相談でお気軽にどうぞ。