「社内AIが的外れな答えを返す」問題の正体
自社の就業規則をChatGPTに聞くと、それらしい回答が返ってくる。ただし、内容は完全にデタラメだ。
これは不具合ではない。設計上の限界だ。汎用AIは「インターネット上の公開情報」で学習している。自社の規定書、過去の議事録、蓄積された顧客対応履歴——これらはどこにも公開されていない。AIが知らないのは当然だ。
この問題を解決するために注目されているのがRAG（Retrieval-Augmented Generation）だ。だが、RAGを「AIに社内知識を丸ごと覚えさせる技術」として導入すると、3ヶ月後にプロジェクトが止まることが多い。RAGが機能しない企業に共通するのは、技術スタックではなく「社内の知識がそもそも整理されていない」という根本的な課題だ。
この記事では、RAGの仕組みを正確に理解した上で、導入時に詰まる3つの現実と、それぞれの突破策を解説する。Lat91が10体のAIエージェントを構築・運用する中で学んだ知見も交えながら、中小企業が現実的に取り組めるアプローチを提示する。
RAGとは何か：「検索して、生成する」アーキテクチャの本質
RAGはRetrieval-Augmented Generationの略で、日本語に訳すと「検索拡張生成」になる。技術的な定義は「検索で取得した関連情報をコンテキストに加えてAIに回答を生成させる手法」だが、これだけでは実感が湧きにくい。
もっとシンプルに言えば、RAGは「AIへの質問と一緒に、関連する社内文書のコピーを添付する」仕組みだ。
人間に例えると理解しやすい。新入社員に「契約書の保管期限は？」と聞かれたとき、あなたはどうするか。記憶をたどるのではなく、「文書管理規定」を引っ張り出してきて、その内容をもとに答える。RAGはこれと同じことをAIにやらせる。
RAGの3ステップ
図1: RAGの3ステップと内部プロセス
技術的には、事前に社内文書をすべて「ベクトル」（数値の羅列）に変換してデータベースに蓄積する。ユーザーが質問するたびに、その質問に近いベクトルを持つ文書を検索して取り出し、AIへの入力に添付する。AIは添付された文書の範囲で回答を生成するため、社内知識に基づいた正確な答えが返ってくる。
重要なのは、AIの「中身」を書き換えているわけではない点だ。ファインチューニング（追加学習）とは根本的に異なる。RAGはAIへの入力を変えることで、出力を変えている。
なぜRAGが注目されるのか：ファインチューニングとの違い
社内知識をAIに使わせる方法は、大きく2つある。ファインチューニング（AIを追加学習させる）とRAGだ。多くの企業がRAGを選ぶ理由は、コストと柔軟性にある。
ファインチューニングは、特定のタスクに特化したAIを作る手法だ。精度は高く出るが、コストが高い。学習にはGPUリソースが必要で、数十万円から数百万円かかる。また、学習後に知識が変わった場合（規定改訂、人事異動など）は再学習が必要になる。
RAGは学習コストがほぼゼロだ。文書を追加・更新するだけでAIが参照する知識が変わる。毎週更新される営業マニュアルや、頻繁に改訂される規定書との相性がいい。初期構築コストも、クラウドのベクトルデータベースサービス（Pinecone、Weaviate等）を使えば月数万円から始められる。
ただし、ファインチューニングが優れている場面もある。特定の出力フォーマットを厳密に制御したいとき、あるいは特定の専門領域でAIの推論能力そのものを高めたいときだ。「どちらが優れているか」ではなく、用途に応じて使い分けるのが正しい判断だ。
海外先進企業の実践：RAGで何が変わったか
RAGが実際に機能している事例として最もよく知られているのは、Morgan Stanleyの取り組みだ。
同社は、1000人以上のファイナンシャルアドバイザーを対象に、社内の調査レポートや投資分析文書（100万件以上）をRAGで検索可能にした。アドバイザーが顧客との会話中に「この株のリスク要因は？」と入力すると、関連する最新の社内レポートが即座に抽出され、AIが要点を整理して返す。
Morgan Stanleyがこのシステムに投資した背景は、単純な効率化ではなかった。アドバイザーが必要な調査レポートを探すのに平均40分かかっていたという問題がある。その時間を顧客対応に使えるようにすることが目的だった（出典: OpenAI Partner Stories, 2023）。
別の角度からの事例として、Airbnbが注目される。同社はカスタマーサポートに生成AIとRAGを組み合わせたシステムを導入し、サポートチケットの解決時間を37%短縮した。重要なのは、AIが「完全自動対応」するのではなく、担当者への関連情報の提示に特化したことだ。担当者の判断を補助する設計にしたことで、社内での受け入れがスムーズだったという（出典: Airbnb Engineering Blog, 2024）。
2社の共通点は明確だ。RAGを「AI完全自動化」として使わず、「人間の判断を補助するツール」として位置づけた。これは中小企業がRAGを導入する際にも参考になる視点だ。
導入で詰まる3つの現実
ここからが本題だ。RAGの概念を理解して導入を始めると、多くの企業が3つの壁にぶつかる。
現実①：社内文書が「AIが読める状態」になっていない
RAGの前提は「文書が存在する」ではなく「AIが処理できる形式の文書が整理されている」だ。この違いは大きい。
典型的な失敗パターンはこうだ。社内の共有フォルダに文書はある。PDFが500件、Excelが300件、WordがTeamsのどこかに。これをRAGシステムに「投入」したとたん、精度が出ない。なぜか。
問題は3つある。第一に、スキャンされたPDFはテキストとして読めない（OCR処理が必要）。第二に、表形式のデータ（Excel）はそのままベクトル化するとコンテキストが失われる（「Aという値はB列のC行」という関係性が消える）。第三に、同じ内容の古いバージョンと新しいバージョンが混在していて、AIがどちらを参照すべきかわからない。
Lat91でも、SEO記事制作の自動化にRAGを活用しようとした際、まず直面したのはこの問題だった。過去記事のナレッジをAIに参照させようとしたが、記事のフォーマットがまちまちで、Markdownで書かれたものとHTML生のもの、タイトルの命名規則がバラバラなものが混在していた。RAGシステムを構築する前に、文書の標準化から始める必要があった。
突破策：「AIが読める文書」から始める。全社文書をいきなり投入しようとせず、まず1つの業務領域に絞り、そこに関連する文書だけを整理する。例えば「新入社員向けよくある質問30件」だけを対象に、回答文書をMarkdown形式に統一してからRAGを構築する。小さく始めて、精度が出る状態を確認してから拡張する。
現実②：チャンク分割の問題で精度が出ない
「チャンク」という技術用語を理解しておく必要がある。RAGでは、文書をそのまま一つのベクトルにするのではなく、適切な大きさのかたまり（チャンク）に分割してから処理する。この分割の設計が精度を左右する。
例えば、50ページの就業規則をRAGに投入するとき、1ページごとに分割するのか、1段落ごとにするのか、特定のセクション単位にするのかで、検索精度が大きく変わる。「有給休暇の申請方法は？」という質問に対して、「第8条：休暇に関する規定」の全体ではなく、「第8条第3項：有給休暇の事前申請について」だけを抽出できるかどうかが、実用性を決める。
チャンクが大きすぎると、無関係な情報がAIへの入力に入り込む。チャンクが小さすぎると、必要なコンテキストが失われる。適切なサイズは文書の種類によって異なり、試行錯誤なしに正解を出すのは難しい。
突破策：まずトークン数500〜800のチャンクから始める。一般的なルールとして、チャンクサイズはトークン数（英語で1単語≒1トークン、日本語は1文字≒1〜2トークン）で500〜800が出発点になる。チャンク間のオーバーラップ（前後のチャンクとの重複部分）を設けることで、文脈の分断を防げる。オーバーラップは50〜100トークン程度が一般的だ。Claude APIのコンテキストウィンドウ（最大20万トークン）を活用すれば、チャンクを多めに取り込んで精度を上げることもできる。
現実③：メンテナンスコストが想定外に高い
RAGの「初期構築はできた。だが半年後に使われなくなった」という失敗は多い。理由はほぼ一つ、メンテナンスが追いつかなくなるからだ。
規定が変わる。担当者が変わる。製品ラインナップが変わる。それにもかかわらず、RAGシステムの知識ベースが更新されないと、AIは古い情報をもとに自信満々に回答し続ける。「先月廃止になった手順で答えてくる」という状況が続けば、誰も使わなくなる。
これは技術の問題ではなく、運用設計の問題だ。誰が文書を更新するのか、更新トリガーは何か、古くなった文書をどう検出するのか——これらの運用フローを設計しないまま、技術的な構築だけを進めると必ずこの壁にぶつかる。
突破策：ドキュメントオーナーを決め、更新フローを先に設計する。RAGシステムの構築前に「この知識ベースの更新責任者は誰か」「どの頻度で見直すか」を決める。文書に有効期限（例：「2026年12月まで有効」）を付けるメタデータ管理も有効だ。更新の仕組みが簡単であるほど継続しやすい。GitHubやNotion等、すでに使っているツールをナレッジベースとして活用し、更新のフローを日常業務に組み込むことが鍵になる。
RAGの実装ロードマップ：中小企業が始めるべき4段階
図2: 中小企業向けRAG実装ロードマップ（全体で2〜3ヶ月）
技術的な構築はSTEP 3の話だ。多くの企業がSTEP 3から始めようとして詰まる。STEP 1と2を飛ばして技術を先に始めると、後戻りが発生してコストが2〜3倍になる。
STEP 1（知識棚卸し）：「このシステムで何の質問に答えたいか」を1つの業務に絞る。例えば「新入社員の人事手続きに関するよくある質問への対応」だけに絞り込む。対象範囲を狭くするほど、精度が出やすい。
STEP 2（文書整理）：対象業務に関連する文書を集め、フォーマットを統一する。古いバージョンと最新版の区別を明確にする。文書の有効期限と更新担当者を決める。
STEP 3（プロトタイプ）：整理した文書だけでRAGを構築し、精度を測る。ツールとして、Claude APIとPinecone（ベクトルDB）の組み合わせがシンプルで扱いやすい。コストは月数千円から始められる。「よくある質問20件」を事前に用意して、正答率を測定する。
STEP 4（運用設計）：誰が文書を更新するか、どのトリガーで更新するかを決める。月次で「古い文書の棚卸し」をカレンダーに入れる。文書管理が日常業務の一部になれば、RAGは長期間機能し続ける。
よくある疑問に正直に答える
「結局、RAGって高いんじゃないか？」
この疑問は正当だ。Morgan Stanleyの事例は大企業のものであり、中小企業がそのまま再現しようとすれば数千万円規模になる。ただ、中小企業に必要なのはその規模ではない。対象業務を1つに絞ったシンプルなRAGであれば、ツール費用は月数千〜数万円、構築コストは外注しなければ担当者の工数のみだ。費用対効果を先に計算することを勧める。「月何時間の業務削減が期待できるか」を数値化し、ツール費用と比較する。
「ハルシネーション（AIの嘘）は防げるのか？」
RAGはハルシネーションを完全には防がない。ただし、大幅に減らすことができる。AIが参照できる情報を社内文書に限定することで、でたらめな回答の確率は下がる。さらに「出典を明記するよう指示する」プロンプト設計と組み合わせると、「この回答は○○規定の第△条に基づいています」という形で出典付きの回答が返ってくる。出典が示されると、回答を検証しやすい。
「ChatGPTのカスタムGPTやGeminiのGemで十分では？」
これも正当な視点だ。ChatGPTのカスタムGPT機能を使えば、ファイルをアップロードするだけで類似の機能を試せる。ただし、本番運用における制限（ファイルサイズ、アクセス制御、API連携）を考えると、独自のRAGシステムの方が柔軟性が高い。まずカスタムGPTで試して感触を掴み、本格導入を検討するという順序も合理的だ。
RAGの先：2028年に向けた展望
現時点のRAGには技術的な限界がある。文書が非常に長い場合、チャンク内のコンテキストが失われる「長文問題」。図版や表が多い文書での精度低下。リアルタイム更新への対応。これらは2026年時点での課題だ。
ただし、技術は急速に進化している。Anthropicのモデル（Claude）はコンテキストウィンドウが最大20万トークンまで対応しており、チャンク分割の必要性が下がってきた。Googleが開発するMuRAG（Multi-modal RAG）は、画像・音声・テキストを統合した検索を実現しようとしている。OpenAIのfile_search APIは、ファイル管理の煩雑さを大幅に削減している。
2028年には、「RAGを自前で構築する」のではなく、「業務SaaSにRAG機能が標準搭載される」という形が主流になると予測される。SalesforceのEinstein AI、HubSpotのAI機能、Notionのコネクテッドサーチ——これらはすべてRAGの概念を土台にしている。企業が意識するのは「どのSaaSを使うか」だけになり、RAGの技術的な構築は不要になる可能性が高い。
その時に備えて今できることは、技術習得より「社内知識の体系化」だ。文書が整理されていれば、どんなツールでも機能する。整理されていなければ、最新の技術を使っても機能しない。RAGは、この整理を促す良い理由になる。
まとめ
RAGに関する要点を整理する。
- RAGは「社内文書をAIが検索できる形で格納し、質問のたびに関連部分を引き出してAIに提示する」仕組みだ
- ファインチューニングと比較して、初期コストが低く、知識の更新が容易な点が中小企業に向いている
- 導入で詰まる3つの壁は「文書の整理不足」「チャンク設計の問題」「メンテナンス運用の欠如」で、いずれも技術より組織の問題だ
- 構築より先に、対象業務を1つに絞り、文書を整理することが成功の近道だ
- 2028年に向けて、RAGは業務SaaSに内包されていく可能性が高い。今の準備は技術習得より「知識の体系化」に投資する方が長期的な価値がある
RAGが機能する企業とそうでない企業の差は、技術者がいるかどうかではない。「AIに使わせる価値のある知識が整理されているかどうか」だ。この整理を始めることが、最初のステップだ。
Lat91では、AIエージェントの設計・導入から運用まで、一気通貫でサポートしています。
「RAGを試してみたいが、どこから手をつければいいかわからない」「社内の知識管理を改善したい」という方は、まずは無料相談からお気軽にどうぞ。御社の業務に合った具体的なアプローチをご提案します。