はてなブックマーク

この記事は何 ナレッジセンスでは、エンタープライズ向けにRAGサービスを提供しています。その中で「RAGは簡単に作れるけど、精度を上げるのは難しい」という課題に日々向き合っています。本記事は、2024~2025年に公開された研究や事例をもとに、RAGの回答精度を高める代表的なアプローチを ざっくりまとめたものです。 ざっくりサマリー この記事では、企業の社内データを利用したRAG、特に大企業で「エンタープライズRAG」での実装手法についてざっくり理解します。まず、エンタープライズRAGでのよくある課題をお伝えします。その上で、2025年現在の最新動向を踏まえ、評価手法のような基本戦略から、ちょっと高度なテクニックまで、RAGの精度を向上手法を概観します。 RAG、実装は簡単。しかし、精度向上は「茨の道」 *Langchainによる『RAG From Scratch』から引用。一部改変 RA

本記事では、RAGの性能を高めるための「REFRAG」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 この記事は何 この記事は、RAGの回答を爆速にする手法「REFRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー REFRAGは、RAGの回答速度を上げるための新しい手法です。「巨額報酬での人材引き抜き」で話題になったMeta社の「Superintelligence Labs」[2]の研究者らによって2025年9月に提案されました。 通常のRAGでは、外部のデータベースから検索した関連文書を、そのままLLMに渡します。しかし、

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGで数値情報を正しく認識できるのかを調査した論文を紹介します。 サマリー RAGはユーザーの質問に対して、意味的な類似度から関連性の高い情報を検索して、ユーザーの質問に回答します。この意味的な類似度の検索がRAGの技術を支えていますが、その性能に関しては様々なベンチマークが乱立しており、体系的に把握されていないことも多く存在します。 今回は、数値にフォーカスして、RAGが正確に数値を把握できているかの調査結果とその分析をしていきます。 課題意識 類似度検索の限界 意味的な類似度による検索は、一見万能に見えますが苦手もあります。一般的には、固有名詞、特に社内用語などの一般には知られていない単語や言葉の使い方が登場すると、類似度検索の性能は大きく下がります。これは、学習の段階で登場しない単語の類似度を判定できないためです。そ

本記事では、RAGの性能を高めるための「PageIndex」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、RAGで「ベクトルDB」を使わずに回答精度を上げる手法「PageIndex」[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます(参考)。 本題 ざっくりサマリー PageIndexは、RAGの精度を上げるための新しい手法です。Vectify AIによって開発されました。 通常のRAGでは、文章をベクトル化して、類似度が高いものを検索して参照します。しかし、これだと「意味は似ているが、文脈は違う」情報を取ってきてしまい、回答精度が落ちます。 そこで、PageInde

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの認知の階層を分析して、ハルシネーションを防ぐ手法「LFD」について紹介します。 サマリー 以前の我々のブログでLLMに無関係な文書を渡すことでRAGの性能が向上する、という突拍子もない論文を紹介したことがありました。 今回紹介する論文では、その無関係な文書がLLM内部でどのような役割を担っているのかを分析し、原因を突き止めました。さらにそこから一歩踏み込み、無関係な文書を渡すことなく、同等の性能を向上させる手法「LFD」を発見しました。 課題意識 RAGのハルシネーション RAGはユーザーの知りたい情報を検索して、検索結果をLLMに渡すことで、LLMの知らない情報も回答できるようにする為の技術です。しかし、LLMは自身の知る知識と検索結果を明確に区別できないために、たとえ正確に情報を検索できたとしても、正しい情報を回

本記事では、AIエージェントの性能を高めるための手法について、ざっくり解説します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、AIエージェントに「手続き記憶」を持たせることで性能を向上させる手法「Memp」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは?」については、知っている前提で進みます(参考)。 本題 ざっくりサマリー Mempは、AIエージェントの精度・効率を上げるための新しい手法です。浙江大学とアリババの研究者らによって2025年8月に提案されました。 ここで言う「AIエージェント」とは、例えばOpenAIの「Deep Research」や「Claude Code」のようなエージェントです。 「AIエージェント」が

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの出力がどの情報源を元に出力したかを示す出典を、トークン出力確率を用いて判定する手法「LoDIT」について紹介します。 サマリー RIGに代表されるように、LLMが出力した情報を信じるためには、参照した情報が元々どのように記載されていたかを知ることが重要です。 そのためRAGでは、出力されたテキストに出典を明記します。しかし、既存の手法はいずれも文章が出力された後に参照との対応を探します。このため、既存の手法では「参照を判定したい文章」の出力途中の情報を活かせず、参照の判定精度が下がってしまいます。 これに対して「LoDIT」では、リアルタイムに情報源を判定します。情報源の特定には「トークンの出力確率」という出力の瞬間に得られる情報を利用しているため、既存の手法と比べてよりLLMが参照に利用していた情報源を正確に特定で

株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 本記事では、OpenAI開発者への最新インタビューから、今後のRAG動向を予想します。 本記事で参考にしているインタビューは、こちらの[1][2] 2本です。 登場する開発者は全員、「GPT-5」の開発に、リーダーレベルで関わっている方々です。公式リリース等には出ていない情報も多く、とても勉強になります。 本題 ざっくりサマリー GPT-5がリリースされました。当然、モデルの性能が上がるほど、RAGの精度が上がります。とはいえ、単に「コーディング」の精度が上がるだけだと、正直、あまりRAGに関係ありません。 しかし今回、GPT-5に関わったOpenAI開発者のインタビューをじっくり読み解いてみると、1今後もエンタープライズRAGが重要であり

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、強化学習とRAGを組み合わせることで検索の性能を大幅に向上させる手法GraphRAG-R1について紹介します。 サマリー 最近のRAGの手法は、必要な情報を一度に集めるのではなく、情報が必要なことが判明するたびに繰り返し検索する手法が主流になっています。 一方で、繰り返しの検索にも問題はあり、「必要な情報を集めきれていないのに検索を終えてしまう(検索不足)」、「必要な情報を十分集めたのに更に検索しようとしてしまう(検索過多)」などの問題を抱えています。 今回紹介するGraphRAG-R1は繰り返し検索の精度に着目した手法です。どんな検索を、どのタイミングで行うべきかを強化学習で学びます。これにより、必要十分なコンテキストを提供できるようになり、既存の手法の性能を最大80%も向上させています。 課題意識 必要十分な情報を収集す

本記事では、精度の高い「Deep Research」機能を実装するための手法について、ざっくり解説します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、「Deep Research」の新手法「Test-Time Diffusion Deep Researcher(TTD-DR)」の論文[1]について、日本語で簡単にまとめたものです。 本題 ざっくりサマリー 「TTD-DR」は、Deep Researchの精度を上げるための新しい手法です。 Google Cloud の研究者らによって2025年7月に提案されました。 最近、OpenAIの「Deep Research」が話題です。この機能では、Web上の情報をもとに深く考え、高精度な回答をすることができます。ただ残念ながら、

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、コンテキストエンジニアリングがエージェントにとってなぜ重要なのかを解説します。 説明の過程で、上記のブログの内容を参照しています。 サマリー ここ最近コンテキストエンジニアリングという言葉が話題になっています。 ツイートの中でも登場するプロンプトエンジニアリングと似た言葉ですが、コンテキストエンジニアリングという言葉が登場した背景にはエージェントの台頭が関係しています。 これまでLLMは基本的に「人」が利用するものでした。そのため入力するプロンプト、そのものに焦点を当てられていました。しかし、「エージェント」は人の手が基本的に介在することなく、自動的にLLMが動作し続けます。そのためプロンプトだけではなく、情報そのものをどう管理するかまで考える必要性が出てきました。この情報の扱い方を考えることこそコンテキストエンジニアリング

本記事では、LLMの「画像読み取り性能」を高める手法について、ざっくり紹介します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、画像に「横線」を引くだけでLLMの画像読み取りの性能を向上させる手法を提案した論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 ※(注記)ちなみにこの手法は直接的にはRAGではありません。しかし、2025年は「マルチモーダルRAG」が流行する年です。例えば、社内データの「ごちゃごちゃしたポンチ絵」などを正確に読み取れると、マルチモーダルRAGの精度は向上します。 本題 ざっくりサマリー 画像に3本の横線を追加し、「この線に沿って順番に見て

本記事では、社内に散らばる非構造的なコミュニケーションデータ(暗黙知)を、AIを使って整理 し、RAGで活用しやすくする手法について、ざっくり理解します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、メール文面・チャットログのような「非構造データ」を、RAGに使える知識ベース(構造化データ)に自動で変換するマルチエージェントシステムの論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー 今回の手法は、社内のサポートチケットやチャットログのような、整理されていない「暗黙知」 を、AIエージェントを使って RAGで使える「形式知」 に自動で

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、専門家のようなレポートを、図表付きで生成できる AIエージェント を実装するための手法について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法である「Multimodal DeepResearcher」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー 最近、OpenAIの「Deep Research」機能が話題です。この機能では、Web上の情報をもとに深く考え、高精度な回答をすることができます。ただ残念ながら、現在のところ本家「Deep Research」では、テキスト(文字)だけでしか出力できません

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は文書の前処理によって、LLMの回答精度を20%も引き上げることに成功したRAGの手法について紹介します。かなりシンプルな手法で、RAGの効果を簡単に体験できる方法となっているので、まだRAGを作ったことが無い方におすすめの手法となっています。 サマリー 今回紹介する論文では、企業の財務情報の読み込みに、前処理とRAGを組み合わせることでそのままデータを渡した場合と比較して性能を20%向上させることに成功しています。しかも誰でも簡単に利用することができる手段の組み合わせで実現しており、RAGをそもそも試したことがない方や少し試してみたけどイマイチ効果がわかりにくいと感じた方が、試しやすい方法となっています。 LLMの解釈の限界 現状のLLMの解釈の限界 昨今のLLMは巨大な入力トークン上限とマルチモーダルの能力を手に入れたことで

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGシステムがより正直に、知らないことには「分からない」と言えるようにするための手法「DTA(Divide-Then-Align)」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法である「DTA」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー DTAは、RAGの精度を上げるための新しい手法です。USTCやCASIAなどの研究者らによって2025年5月に提案されました。 通常のRAGでは、外部ソースから検索して得た情報を直接利用して、最終的な回答を生成します。ただ、これだけだとLLMの元から

本記事では、RAGの性能を高めるための「InForage」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けに「社内データ検索サービス」を提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「InForage」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー InForageは、RAGの精度を上げるための新しい手法です。BAAIの研究者らによって2025年5月に提案されました。 InForageは、情報探索理論(Information Foraging Theory)という、「動物が餌を探す行動をモデル化した理論」に着想を得た手法です。野生の動物が嗅覚を使って獲物にたどり着くイメー

本記事では、RAGの性能を高めるための「DualRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けに「社内データ検索サービス」を提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DualRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー DualRAGは、RAGの精度を上げるための新しい手法です。天津大学の研究者らによって2025年4月に提案されました。 最近、OpenAIの「Deep Research」が話題です。この機能では、Web上の情報をもとに深く考え、高精度な回答をすることができます。ただ残念ながら、本家「Deep Research」の実装は、公開されて

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、方針の決定と検索を繰り返すことで複雑な質問に回答するための枠組み「PAR RAG」について紹介します。 サマリー Deep Researchを皮切りに、検索と推論を繰り返してこれまでよりも精度の高い検索を実現する機能は普及し始めています。Deep Researchでは検索対象をWeb上のデータとしていますが、検索対象は独自データにすることも可能です。それが今回紹介するPAR RAGです。PAR RAGでは、単純な検索の繰り返しだけではなく、検索結果の評価と検索の計画を組み立てることで更に高い検索精度を実現しています。 エージェントの過剰推論問題 検索を繰り返すことによる問題 LLMが検索を繰り返すことで、より複雑な問題を解決するアプローチにはいくつかの問題があります。特に繰り返しによって発生する問題は、「ずれの蓄積」です。検

本記事では、RAGの性能を高めるための「REBEL」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「REBEL」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー REBEL (RErank BEyond reLevance) は、RAGの精度を上げるための新しい手法です。MicrosoftとScale AIの研究者らによって2025年3月に提案されました。 通常のRAGでは、リランキングという手法がよく使われます。これは何かというと、ベクトル検索で取ってきた文書を「ユーザーの質問との関連性」で並び替え、上位のX件をLLM

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大5倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。 サマリー RAGは必要な情報を収集して、その情報を元に回答を生成する機能をもっていますが、多くの場合で無関係な情報を含めてLLMに渡します。これにより、LLMへの入力トークンが増加してしまい、文章の生成が完了するまでの速度と料金がより多くかかることになります。 今回紹介する「OSCAR」はLLMに渡す文章を「圧縮」することで入力トークンを抑え、かかる時間と料金を抑えることができます。加えて、精度についてもそのままLLMに検索結果を渡す場合と比べて同程度の精度を実現しています。 問題意識 大量の文章を追加することの悪影響

本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 (すみません、ちょっと今回、玄人向けの記事です...🙏) 本題 ざっくりサマリー DyPRAGは、中国科学院自動化研究所の研究者らによって2025年3月に提案されました。 通常のRAGでは、ユーザーの質問に関連する文書を「会話のコンテキスト」としてLLMに渡します(=「In-context learning」)。ただ、このとき文字数が多すぎると、LLMがハルシネーションを起こした

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、AIエージェントが陥る考えすぎ(過剰推論)を防いで、精度を向上させる手法ReaRAGについて紹介します。 サマリー 2025年はAIエージェント元年と呼ばれるように、Web検索やコード生成の分野でAIエージェントの活躍の舞台は広がっています。しかし、AIエージェントの抱える問題の一つ「過剰推論」によって回答にたどり着けなくなる問題があります。ReaRAGはこの「過剰推論」をファインチューニングで防ぐことに成功しています。 ポイントは、ツール(Web検索など)そのものと少ない手数で回答にたどり着くパターンを学習するという点です。ツールの使用方法を学習することは多いですが、利用するツールそのものとそのツールを少ない手数で利用する様子も学習に含めることで、ツール利用の精度が大幅に向上します。 エージェントの過剰推論問題 過剰推論に

本記事では、RAGのソースにするドキュメントに対して、「Q&Aデータ」を自動で生成できる手法「ExpertGenQA」について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGサービスを提供しているスタートアップです。 この記事は何 この記事は、ドキュメントについての高品質なQ&Aを自動生成する手法「ExpertGenQA」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー ExpertGenQAは、専門文書に基づいたにQ&Aを、高品質かつ自動で作成するための新しい手法です。カリフォルニア大学リバーサイド校の研究者らによって2025年3月に提案されました。 通常、RAGを評価するためのデータセットの作成は大変です。特に、ソ

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの要であるEmbeddingの性能を大きく低下させてしまう、文章の特性について解説します。 このブログで紹介している内容は以下の論文を元に作成しておりますので、詳細はそちらをご確認ください。RAGを構成してみたが、どうしても正解の文章を取ってこれない!そんなときはもしかするとこの論文で紹介されているような文章になってしまっているかもしれません。 サマリー Embeddingは、RAGの検索能力の根幹に関わる機能ですが、そのの性能や特性についてはあまり知られてはいません。実は、保管するテキストの文体や分割方法次第で最大90%程度、検索性能が下がってしまいます。 今回紹介する論文では、Embeddingの性能を著しく下げるテキストの特徴を調べ、その性質についてまとめています。特に「文章の位置」、「使用する単語」、「文章量」

本記事では、RAGの幻覚(ハルシネーション)を検出するための「LettuceDetect」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGのハルシネーションを高速に検出するための「LettuceDetect」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー LettuceDetectは、RAGの幻覚を検知するための新しい手法です。LettuceDetect を使うことで、最近流行している「LLM-as-a-Judge」より圧倒的に速く、でも、ほぼ同じ性能で、幻覚を検知できます。KR Labsとウィーン工科大学の研究者らによって2025

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、人間の脳の構造をRAGに応用することで検索、回答の性能を向上させる手法「HippoRAG 2」について解説します。 なお、この手法の前身である「HippoRAG」は、過去に解説しておりますので、そちらもぜひご確認ください。 サマリー 一般的なRAGは、単純なベクトル検索を利用しているため、意味の理解をするという面で限界がありました。特に複数回の検索が必要な場合や、質問の意図を解釈する必要がある場合に特に精度が下がります。HippoRAG 2は、人間の長期記憶の仕組みを真似するように、ナレッジグラフを利用することで特に、複雑な質問への回答性能を大幅に向上させています。 問題意識 RAGの意味理解