メディア一覧へ戻るAI活用

業務AIが効かない理由はプロンプトではなかった

2026.06.07
業務AIが効かない理由はプロンプトではなかった

「ChatGPTに何度聞いても、使えない答えしか返ってこない」。そんな声を経営者からよく聞きます。多くの人はプロンプトの書き方を変えようとする。丁寧にする。役割を与える。「プロとして答えてください」とつける。しかし効果は限定的で、すぐ頭打ちになります。

原因は「プロンプトの質」ではありません。AIに見せている情報の設計が間違っているのです。この記事では、2025年に世界のAI実務者の間で起きた転換を解説し、業務で今週から使える具体的な実践方法をお伝えします。

同じテーマなのに、なぜ同僚のAIだけ使える答えが返ってくるのか

あなたの会社に2人の担当者がいるとします。Aさんは毎朝ChatGPTに「今日の営業メールを5件作って」と入力します。Bさんも同じ質問をします。ところがBさんの作るメールだけ、顧客から返信がきます。

なぜか。Bさんは質問の前に、必ずこれを入力しています。

あなたは私たちのサービス「X」を導入した中小企業の成功事例を熟知した営業担当です。以下を守ってください: 製品名は「X」と呼ぶ。返信を促す一文を末尾に必ず入れる。100〜120字以内。先週、Y社のZ担当者と商談した際、在庫管理の課題について話しました。

Aさんは指示を出しています。Bさんは文脈を設計しています。この違いが出力の質を決定的に変えます。

LLM(大規模言語モデル)は、自分に見えている情報だけで答えを生成します。あなたの会社のことも、前回の会話も、業界の商習慣も何も知りません。毎回白紙から始めるのです。だから「うまいプロンプト」とは、魔法の呪文ではなく「AIに渡す情報の設計」の問題なのです。ここを理解すると、業務AIの使い方が根本から変わります。

プロンプト設計 vs 文脈設計 プロンプト設計(従来) 「営業メールを5件作って」 AI(何も知らない状態) → 汎用的な答えしか出ない どれだけ磨いても頭打ち 文脈設計(新しいアプローチ) ① 役割・制約 (System Instructions) ② 過去の会話・決定事項 (History) ③ 社内文書・データ (Knowledge) + ユーザーの質問 現場で使える具体的な答えが出る

図1: 同じ質問でも、AIに渡す情報の設計次第で答えは変わる

「プロンプトエンジニアリング」が2025年に急速に衰退した理由

2023年から2024年にかけて、「プロンプトエンジニア」という職種が注目されました。月100万円超の高収入ポジションも登場し、指示文を磨けば仕事になるという雰囲気がありました。

しかし2025年に入ると、潮目が変わります。LinkedInのデータでは、プロンプトエンジニアと明記したプロフィールが2024年半ばから2025年初頭にかけて40%減少したとされています(出典: Medium, 2026年)。技術者コミュニティHacker Newsでも「プロンプトエンジニアリングはもう終わった」という議論が相次ぎました。

転換点のひとつは、AI第一人者たちの発言でした。元OpenAI研究者Andrej Karpathyはこう述べています。

「コンテキストウィンドウに何を入れるか——これこそが繊細な技術と科学の結晶だ。少なすぎても多すぎても、LLMはベストな性能を発揮できない。これをうまくやるのは、本当に難しい」(出典: Andrej Karpathy, X, 2025年)

ShopifyのCEO Tobi Lütkeも同様に、文脈設計はLLMと効果的に働くための核心スキルだと述べています(出典: The Decoder, 2025年)。

なぜ「プロンプトを上手く書く」から「文脈を設計する」への移行が起きたのか。理由は3つあります。

LLMの性能が急速に上がった。 2023年当時は詳しく指示しないと変な答えが返ってきた。今は多少雑な指示でもモデルが補完してくれます。プロンプトの書き方で差がつきにくくなった。

コンテキストウィンドウが劇的に拡大した。 GPT-4は当初8,000トークン(約6,000文字)しか入力できなかったのが、今は数百万トークンを扱えるモデルが登場しています。社内文書や過去の会話を大量に渡せるようになった。問題は「何を見せるか」の設計に移った。

エンタープライズAIが複雑になった。 個人で使うChatGPTなら指示文だけで何とかなります。ところが組織のワークフローに組み込まれたAIは、複数システムと連携し、過去の履歴を参照し、社内ルールを守る必要があります。これは静的な指示文では実現できません。

文脈設計の3要素を理解する

文脈設計(Context Engineering)は、AIが見る情報環境全体を体系的に設計する考え方です。実務では3つの要素から構成されます。

文脈設計の3要素 ① 役割文脈(System Instructions) AIの役割・制約・知識ベースを定義する。単に「あなたは〜です」と書くだけでなく、ルール・禁止事項・ 出力フォーマット・対象読者まで書き込むと効果が変わる。 ② 履歴文脈(Conversation History) 過去の会話・決定事項・承認ずみのルールを引き継ぐ。AIは記憶を持たないので、前回決めたことは毎回 明示的に渡す必要がある。これを怠ると同じ議論を繰り返す。 ③ 知識文脈(External Knowledge) 社内文書・データベース・マニュアルから必要な情報をAIに注入する。技術的にはRAGという仕組みを使う が、まずは「コピーして貼り付ける」だけでも機能する。

図2: 文脈設計の3要素 — この3つを整備すると、同じLLMでも出力が変わる

重要なのは「全部入れればいい」ではないことです。Karpathyが指摘したように、情報を詰め込みすぎると精度が落ちます。関係ある情報だけを適切な量で渡すことが肝心です。この設計がうまくできない場合の典型的な失敗は「社内文書を丸ごとコピーして入れたのに、全然関係ない箇所の話を始めた」というものです。渡す情報のキュレーションも文脈設計の一部です。

業務で今週から使える文脈設計3ステップ

エンジニアでなくても始められます。以下の順番で試してください。

Step 1: 役割・制約を会話の冒頭に書く

毎回プロンプトを書くたびに役割設定するのではなく、定型文として保存しておきます。ChatGPTのCustom InstructionsやClaudeのシステムプロンプトに設定すれば、毎回自動的に読み込まれます。書く内容は、自社のサービス概要(2〜3文)、使ってほしい言葉・避けてほしい言葉、出力形式(箇条書きか文章か、文字数の目安)の3つです。これだけで答えの質が変わります。

Step 2: 前回決めたことを必ず持ち込む

AIは記憶を持ちません。昨日の会議で決めたこと、先週の承認事項、顧客の特殊な要望——これらは毎回貼り付ける必要があります。「先週の会議で決まったこと: ○○」と書くだけで、AIの答えが変わります。慣れてきたらNotionやスプレッドシートに「AIに渡す前提情報テンプレート」を作り、チームで共有してください。これが文脈インフラの第一歩です。

Step 3: 社内文書を丸ごと貼る

「社内のマニュアルを学習させる」と聞くと技術的に難しく聞こえますが、単純に「コピーして貼る」だけでも効果があります。製品仕様書の該当部分、過去の成功事例、クレーム対応ルール——関係するテキストをそのまま貼り付けてから質問する。現代のLLMはこれだけで文脈を理解して回答します。1万字程度なら一度に貼れます。社内文書が多い場合はRAGという技術を使いますが、まずは手作業から始めて効果を体感してください。

海外先進企業は「うまいプロンプト」より「文脈インフラ」を整備している

業務AIで成果を出している海外企業に共通するのは、個人の「プロンプトスキル」ではなく、組織レベルの「文脈インフラ」の整備です。

英国のエネルギー会社Octopus Energyは、AIカスタマーサポートで全問い合わせの44%を処理しています。250人分の仕事量を代替し、しかも人間対応より顧客満足度が高いという結果が出ています(出典: IntuitionLabs, 2026年)。この成果を支えているのは、顧客情報・過去の対応履歴・製品仕様・回答禁止事項を一貫して設計した文脈管理システムです。

求人検索大手Indeedは、AIを活用した求人掲載機能の導入後、応募数が20%増加し採用成立率が13%向上したと報告しています(出典: IntuitionLabs, 2026年)。求職者の過去の行動データ・職種ごとの要件・企業の文化を文脈として組み込んだことで、マッチング精度が上がりました。個人が上手なプロンプトを書いたのではなく、システムとして文脈を設計した結果です。

McKinseyの調査では、構造化された文脈設計のトレーニングを受けた従業員は、試行錯誤で学んだ従業員と比べてAIでの生産性が37%高かったとされています(出典: McKinsey AI Adoption Survey, 2025年)。

日本の状況と比較すると、差は歴然です。2026年の調査では、管理職の29.3%が生成AIを使いこなせていないと自認し、26.0%が具体的な活用アイデアが出ないと回答しています(出典: CommercePick調査, 2026年)。「ChatGPTの使い方」を学んでいる段階にとどまっている間に、海外企業は文脈設計のシステムを整備しています。

Lat91が10体のAIエージェントで学んだこと

Lat91では、社内業務を自動化するAIエージェントを10体以上構築・運用しています。SEO記事生成、X投稿の自動化、営業フォームへの応答など、実際の業務フローに組み込んでいます。

最初の半年、私たちもプロンプトを磨くことに時間を使っていました。指示文を細かくする。例を追加する。禁止事項を増やす。確かに少し良くなります。しかしある水準から先に進まなくなった。

転換点は「プロンプトの問題ではない」と気づいた時でした。具体的には3つの変化で出力品質が劇的に改善しました。

一つ目は、System Instructionsの整備です。Lat91のサービス概要・ターゲット読者の詳細な定義・避けるべき表現のリストを丁寧に書き直した。これだけで、記事の書き出しが全く変わりました。

二つ目は、会話履歴の管理です。エージェントが複数ステップを踏む際、前のステップの結果を正確に次のステップに引き渡す仕組みを作った。これがなかった時は途中でコンテキストが途切れ、トンチンカンな出力になっていました。

三つ目は、社内知識の注入です。過去に成功した記事の構成・読者からのフィードバック・SEOデータをプロンプトの中に文脈として渡した。プロンプトを100回磨くより、1回の文脈設計の方が効果がありました。

正直に言えば、「どの情報をどの量で渡すか」の設計には今も試行錯誤があります。情報を詰め込みすぎてトークン上限を超え、大事な部分が切れてしまったこともありました。それでも方向性は間違っていないと確信しています。文脈設計を整備してから、エージェントの品質は安定して出せるようになりました。

よくある反論に答える

「プロンプトの書き方も関係あるんじゃないの?」

その通りです。プロンプトの書き方は関係あります。ただし比率の問題で、文脈設計が80%、プロンプトの書き方が20%というイメージです。文脈がしっかり設計されていれば、プロンプトが多少雑でも良い答えが返ります。文脈が空のまま、どれだけ上手なプロンプトを書いても、AIは会社のことを知らないまま汎用的な答えを出し続けます。

「エンジニアじゃないとできない?」

Step 3で説明した手貼り法は、今日から始められます。文書をコピーして貼り、その後で質問するだけです。技術スキルは不要です。より本格的な文脈設計(RAGシステムの構築など)にはエンジニアが必要ですが、まずは手動で効果を体感してから考えれば十分です。

「プロンプト設計とコンテキストエンジニアリングは別物なの?」

連続した概念です。プロンプト設計(単発の指示を上手く書く)から、文脈設計(AIに渡す情報環境全体を設計する)へと進化したイメージです。プロンプト設計を否定するのではなく、その上位概念を意識してほしいというのが本記事のメッセージです。LLMへの業務組み込みを考えるなら、文脈設計の視点は避けて通れません。

まとめ

この記事で伝えたかったことは3点です。

  • AIの答えの質は「プロンプトの書き方」より「AIに見せる文脈の設計」で決まる
  • 世界の先進企業は個人スキルではなく、組織の文脈インフラに投資している
  • 今日から始められる手貼り法(文書を貼ってから質問する)でも、効果は十分にある

Karpathyが言う「コンテキストウィンドウを適切に埋めることが、現代AIの最も重要な技術」は、開発者だけの話ではありません。業務でAIを使うすべての人に関係します。

あなたが今すぐできることは一つです。次にAIに質問するとき、質問の前に「役割・制約・関連文書」を3段落で書いてみてください。それだけで、AIの答えが変わります。

生成AIをどのモデルで使い分けるかについては、ChatGPT・Claude・Gemini、業務別の正しい使い分けも参考にしてください。生成AIが社内に定着しない理由については、生成AIが社内に定着しない本当の理由で詳しく解説しています。

Lat91では、AIエージェントの設計・導入から運用まで、一気通貫でサポートしています。

「文脈設計から始めたい」「社内のAI活用を本格化したい」という方は、まずは無料相談でお気軽にどうぞ。具体的な業務に合わせた文脈設計の方針をご提案します。

無料相談はこちら

共有