AIが「自社のことを知らない」問題を解決する——RAGとファインチューニングの仕組みと使い分け

AIは「自社のことを知らない」

ChatGPTなどの生成AIは、インターネット上の膨大なテキストを学習しています。一般的な知識や文章生成については非常に高い能力を持っています。しかし、どれだけ優秀なAIでも、あなたの会社の情報は知りません。

自社の就業規則や経費精算のルール
製品の仕様書やサポートFAQ
先月の営業会議の議事録
顧客ごとの取引条件

これらはインターネット上には存在しないため、LLMの学習データに含まれていません。「社内規定を教えて」と聞いても、AIは一般論しか答えられず、最悪の場合はもっともらしい嘘（ハルシネーション）を出力してしまいます。

この限界を補う技術がRAG（Retrieval-Augmented Generation：検索拡張生成）です。

RAGの仕組み——4つのステップ

RAGは「まず検索して、それからAIに渡す」というシンプルな発想に基づいています。4つのステップで何が起きているか、内部の動作も含めて見てみます。

①登録——チャンク分割とベクトル化　社内文書を登録するとき、文書をそのまま保存するのではなく、まず数百文字ごとの「チャンク（塊）」に細かく分割します。そして各チャンクを「ベクトル（数値の配列）」に変換してデータベースに格納します。

テキストをベクトルに変換するとは、文章の意味を数値で表すイメージです。「りんご」と「赤い丸い果物」は違う言葉ですが、意味が近いためベクトル空間上では近い座標に配置されます。意味が近いほど数値的にも近くなるよう設計されているからです。

②検索——キーワードではなく「意味」で探す　ユーザーの質問も同じようにベクトルに変換されます。そして「ベクトル空間上で距離が近いチャンク」を取り出します。これをベクトル検索と呼びます。

従来のキーワード検索は「まったく同じ単語があるか」を探します。ベクトル検索は「意味が近いか」で探すため、「休みを取りたい」という質問から「年次有給休暇の申請手順」のチャンクを見つけることができます。

③拡張　見つかったチャンクを元の質問と組み合わせ、LLMに渡すプロンプトを構成します。具体的には「以下の社内文書を参考にして、質問に答えてください」という形で、検索結果をプロンプトの一部として埋め込みます。LLMには「提供された文書の範囲内で答えること」と指示することで、ハルシネーションを抑制します。

④生成　LLMは渡された情報を根拠に回答を生成します。「与えられた文章の続きを確率予測する」LLMの性質を活かし、「社内文書の内容＋質問」という文脈から根拠のある回答を生成させます。

「正確な情報はデータベースから検索する、文章の生成はAIに任せる」という役割分担が、RAGの本質です。

RAGが解決する3つの課題

RAGにより、通常の生成AIが抱える以下の3つの課題を解決できます。

ハルシネーションを抑制できる。AIは「検索で見つかった情報」を根拠に回答するため、知らないことをでたらめに答えるリスクが大幅に下がります。回答の根拠となった文書を明示することもできます。

最新情報に対応できる。AIの学習データは過去のある時点でカットされています。しかしRAGのデータベースは随時更新できるため、今日更新した規定に今日から対応できます。

LLMを再学習させるより低コスト。自社情報をAIに覚えさせる方法として、モデル自体を追加学習（ファインチューニング）させる手法もあります。しかしファインチューニングは高コストで時間もかかります。RAGは既存のLLMをそのまま使い、外部から情報を「渡す」だけなので、導入のハードルが低くなっています。

実際の活用事例

RAGの実際の活用事例を3つご紹介します。

社内規定QAボット：就業規則・旅費精算・有給申請などの規定PDFをデータベースに登録しておくと、社員が「有給の申請方法は？」と質問するだけで正確な回答が返ってきます。人事・総務への問い合わせ件数を削減し、社員の自己解決を促進できます。
営業・サポート向けの製品情報ナレッジ：カタログ・仕様書・過去の商談議事録をRAGに投入することで、商談前の情報収集や顧客からの技術的な問い合わせ対応を効率化できます。
新入社員向けのオンボーディング支援：業務マニュアルや社内ルールをRAGで参照できる環境を作ることで、新入社員が「誰かに聞かなければならない」場面を減らせます。

まず試せる：Google NotebookLM

RAGをコードなしで体験できる入門ツールとして、Google NotebookLMがあります。

使い方はシンプルです。PDFや議事録、Webページなどをアップロードするだけで、その資料の内容に特化した質問応答が可能になります。アップロードした資料の外にある情報は答えず、根拠となった箇所を引用して回答してくれます。

社内マニュアルを投入して新入社員の問い合わせ対応に使ったり、営業資料をまとめて商談前の情報収集に活用したりといった使い方が、弊社の研修でも行っています。Googleアカウントがあれば無料で試せます。

本格的なRAGシステムの構築を検討する前に、まずNotebookLMで「自社資料に特化したAI」の感覚をつかむのがおすすめです。

GPTs・Gem・CopilotもRAGの一種

普段お使いのAIサービスの中にも、ファイルやドキュメントを「ナレッジ」として追加できる機能があります。それらはナレッジを入れた時点でRAGの仕組みを使っています。

GPTs（ChatGPT）：OpenAIのカスタムAI機能。ファイルをナレッジとして登録すると、そのファイルを根拠に回答するRAGが動きます。
Gem（Google Gemini）：GeminiのカスタムAI機能。PDFやGoogleドキュメントを追加して、特定の資料に特化したAIアシスタントを作れます。
Copilotエージェント（Microsoft 365）：SharePointや社内ドキュメントをナレッジとして指定し、社内情報に基づいて回答するエージェントを構築できます。

ナレッジを入れなければ通常の生成AIと同じですが、ファイルを追加した時点でRAGが動き始めます。すでに契約しているサービスの延長で試せるのが利点です。ただし登録できるファイル数や容量に制限があるため、社内展開や大量のドキュメントを扱う場合はDifyのような専用ツールが向いています。

さらに本格的に：DifyでRAGアプリを作る

NotebookLMでRAGの感覚をつかんだら、次のステップとしてDifyがおすすめです。

Difyはオープンソースのノーコード／ローコードLLMアプリ開発プラットフォームです。プログラミング不要で、ドラッグ＆ドロップの操作だけでRAGを使ったチャットボットやワークフローを構築できます。複数のアプリで同じナレッジを使い回せるなど、実務での継続利用に向いています。

RAGアプリの構築は大きく3ステップです。

ナレッジを登録する　社内マニュアルや規定のPDFをアップロードするだけで、自動でチャンク分割・ベクトル化されてデータベースが作られます
チャットボットを作る　使用するLLMとシステムプロンプト、登録したナレッジを設定します
公開する　リンクを発行すれば、そのまま社内に展開できます

NotebookLMとの大きな違いは、複数のナレッジを組み合わせたり、条件分岐のあるワークフローを組んだり、SlackやNotionなど外部ツールと連携したりと、実業務に組み込める設計ができる点です。

RAGの精度はデータの質で決まる

RAGは「投入したデータ以上のことは答えられない」という原則があります。精度の低いドキュメントを入れれば、精度の低い回答が返ってきます。

実際に導入した企業がつまずきやすいポイントとして、図表・フローチャートを含むPDFが苦手という点があります。PDFをテキストとして読み込む過程で、図のレイアウト情報や表の構造が失われやすく、意図しない形でAIに伝わることがあります。テキスト主体の資料の方が精度が出やすく、図表が多い資料はあらかじめテキストに書き直すと改善します。

また、不要な情報（目次、広告、免責事項など）を含んだまま投入すると、それが回答に影響することがあります。「何を入れるか」の精査が、RAGの品質を決める最大のポイントです。

なお、データ形式の最適化（Q&A形式への変換、チャンク分割の設定）、検索精度の向上（ベクトル検索とキーワード検索を組み合わせたハイブリッド検索）、より高度な手法（リランキング、Self-RAGなど）については、また別の記事で詳しく紹介します。

RAGとファインチューニングの違い

自社情報をAIに扱わせる手法として、RAGのほかにファインチューニング（追加学習）があります。

ファインチューニングを理解するには、LLMの内部構造を少し知っておくと助けになります。LLMはディープラーニング（深層学習）で作られており、内部には数十億〜数千億個のノード（ニューロン）と、ノード間のつながりを表すパラメータ（重みづけ）が、人間の脳みそのように張り巡らされています。事前学習とは、インターネット規模の膨大なテキストデータを使って、この無数のパラメータを調整する作業です。LLMが言葉の流れを「知っている」のは、このパラメータに膨大な言語パターンが刻み込まれているからです。

ファインチューニングとは、このパラメータを特定の目的に合わせて再調整することを指します。モデルの「中身」そのものを書き換えるため、大きな計算リソースとコストがかかり、精密に整えられたパラメータを再び書き換えるため、意図しない品質低下が起きやすいという側面もあります。

RAGはこれとは対照的に、モデルの内部には一切手を加えません。LLMはそのままに、「質問のたびに外から情報を渡す」だけです。コストが低く、既存モデルの性能を維持したまま社内情報に対応できる理由がここにあります。

	RAG	ファインチューニング
コスト	低い	高い
情報の更新	随時対応可	再学習が必要
回答の根拠	出典を明示できる	ブラックボックスになりやすい
精度の特徴	事実ベースの正確さに強い	複雑な専門タスクに強い
向いているケース	社内情報・最新情報への対応	特定の文体・形式・専門タスク

社内情報の活用や最新情報への対応が目的であれば、多くの場合RAGが適しています。ファインチューニングは、AIの回答スタイルや専門タスクへの対応力を変えたい場合に向いています。

ただし、知識の付与を目的としたファインチューニングには注意が必要です。追加学習によって意図せず日本語の品質が低下したり、モデル全体の性能が落ちるケースが報告されています。社内情報への対応が主な目的であれば、まずRAGを第一候補として検討するのが現実的です。ファインチューニングが本領を発揮するのは、特定の出力フォーマットへの特化や、専門分野固有のスタイル・文体が求められる場面です。

「LLMの限界」を補う設計思想

RAGは単なる検索ツールではありません。「LLMは確率予測しかできない」という構造的な限界を前提に、その弱点を外部の検索システムで補う設計思想です。

生成AIを業務に組み込む際、この「RAGによる外部知識の補完」は今や基本的なアーキテクチャになっています。

生成AIを「なんとなく使うツール」から「業務の仕組みに組み込めるもの」へと発展させる第一歩として、RAGの概念は押さえておく価値があります。