はてなブックマーク

はじめに こんにちは。データ分析エンジニアの木介です。 今回はAmazon Bedrock Knowledge BasesベクトルDB(検索エンジン)として利用できるものの比較を行っていきたいと思います。 前回はS3 VectorsとOpenSearch Serverlessの比較を行いましたが、ハイブリッド検索が必要な内容だと、精度の差が大きく出ました。 acro-engineer.hatenablog.com 現状、Bedrock Knowledge Base でハイブリッド検索に対応しているのは、以下のベクトルDBがあります。 OpenSearch Serverless OpenSearch Managed Cluster Aurora Serverless V2(PostgreSQL) MongoDB Atlas 今回、その中でも利用頻度が高いと思われる、OpenSearch Se

こんにちは、YAMALEXの駿です。 昨今、対話型AIの活用が進む中で、ユーザーごとにパーソナライズされた体験を提供することが、より重要になっています。 単なる一問一答ではなく、「ユーザーが誰で、どんな関心や目的を持っているか」を理解したうえで応答できるエージェントが求められています。 本記事では、Strands AgentsとBedrock AgentCoreを組み合わせて、ユーザーとの対話履歴を記憶・活用するパーソナライズ型エージェントの実装と検証を行います。 1. はじめに 1.1. Strands Agentsとは 1.1.1. Strands Agents Tools 1.2. Bedrock AgentCoreとは 1.2.1. AgentCore Memory 2. 検証 2.1. 構成図 2.2. 実装 2.3. 会話してみた 2.3.1. 好みを理解していない場合 2.3

こんにちは。新人エンジニアの飯棲です。 本記事ではGPT-5で新しく導入された新しいパラメータの一つであるCFGについて紹介します。 CFGはLark文法や正規表現によってモデルの回答の出力形式を制限できる便利な機能です。 1. はじめに 2. GPT-5の新機能、CFGパラメータについて 1. 何ができるか 2. 注意事項 3. 試してみる 1. 今回やること 2. Lark文法を定義する 3. CFGに設定してGPT-5を実行する 4. 色々なパターンを試す シンプルなパターン 複雑なパターン 逸脱したパターン 4. まとめ 1. はじめに GPT-5からはリクエスト時に指定できるパラメータが追加されており、モデルの出力を今までよりも細かく制御することが可能です。 cookbook.openai.com 今回はその中でも、出力のフォーマットを強制できるCFGパラメータを紹介するとともに

こんにちは、YAMALEXの駿です。 最近はStrandsAgentsとStrandsAgents Toolsを組み合わせていろいろなエージェントを作るのにはまっています。 今回は StrandsAgents と Claude 4 のインターリーブ思考 を組み合わせ、マルチエージェントなし で Deep Research 相当の調査レポートを生成する手法を紹介します。 1. はじめに 1.1. DeepResearchについて 1.2. StrandsAgentsとは インターリーブ思考とは 2. 実装 2.1. エージェント 2.2. モデル(インターリーブ思考を有効にする) ポイント 2.3. ツール(Tavily MCP) 2.3.1. Tavily MCPサーバーの特徴 2.3.2. MCP統合の実装 3. 実行 3.1. 思考プロセス 実行結果 4. ポイント 4.1. 複雑な実

こんにちは。ウィーンから日本に帰ってきたら暑すぎて体が追い付かないSsk1029Takashiです。 今回は2025年7月27日~8/1にウィーンで開催されているACL2025(The 63rd Annual Meeting of the Association for Computational Linguistics)に現地参加したので、その参加報告記事になります。 聴講参加でしたが、NLPの最先端を追えた素晴らしい機会でした。 (私は日程の都合で7/31までの参加でした。) ACLとは? 学会の様子 特に気になったセッション、論文 Tutorial: Uncertainty Quantification for Large Language Models Pre$^3$: Enabling Deterministic Pushdown Automata for Faster Struc

はじめに こんにちは。データ分析エンジニアの木介です。 今回は、AWS Summit 2025 New Yorkにて発表されたS3 Vectorsについて、既存のベクトルストレージとの比較も含めて紹介していきたいと思います。 aws.amazon.com はじめに S3 Vectorsとは 1. 他ベクトルストレージとのコスト面での比較 2. 機能面での制限事項 3. S3 Vectorsのベストプラクティス 他ベクトルストレージとの速度面での比較 他ベクトルストレージとの精度面での比較 1. ベクトル検索による精度比較 2. ハイブリッド検索との精度比較 まとめ S3 Vectorsとは AWS S3の新機能として提供されるベクトルストレージです。 S3で提供されるため、従来のAWS上で利用できたベクトルストレージであるOpenSearch Serverlessや、Auroraなどと違い

皆さんこんにちは。バックエンドエンジニアの前田です。 最近は、いよいよ暑さが本気を出してきたので、熱中症対策をしなくては、と考えています。 さて、今回はDifyのv1.0.0で追加されたReActを用いてナレッジ/記事要約エージェントを作成しました。 ナレッジに登録したドキュメントなどをもとに、Web検索もして情報を補足し、文章を要約するエージェントが欲しいと思い、作ってみました。 Difyの環境構築と基本的な使い方については以下の記事を参考にしてみてください。 今回はDifyのv1.6.0を用いて作成しました。 acro-engineer.hatenablog.com 1. DifyにおけるReActとは 2. 今回作成するアプリについて 2.1. 構成 2.2. ナレッジ検索 2.3. エージェントノード 3. 実際に動かしてみる 4. まとめ 1. DifyにおけるReActとは D

はじめに こんにちは、丸山です。 LLMやナレッジベースの利用ができるサービス「Amazon Bedrock」の新機能として、2025年04月07日に「プロンプトキャッシュ」が一般公開されました。 aws.amazon.com aws.amazon.com この機能により、LLM利用時のコスト削減とレイテンシー改善ができます。 今回は、プロンプトキャッシュを使用することで実際どの程度コスト削減やレイテンシー改善ができるのか試してみました。 はじめに プロンプトキャッシュのメリット プロンプトキャッシュの仕組み ざっと知りたい人向けの説明 詳しく知りたい人向けの説明 どのようなときに使うとよいか プロンプトキャッシュを使用してみる 前提 処理内容 プロンプトキャッシュのあり/なしでの比較 プロンプトキャッシュなし プロンプトキャッシュあり 比較結果 まとめ プロンプトキャッシュのメリット 主な

はじめに こんにちは。データ分析エンジニアの木介です。 今回は、OpenSearch 3.0の最新リリースについての紹介と、新たに対応したMCP(Model Context Protocol)を用い外部リソースとOpenSearchの連携方法について解説していきます。 opensearch.org OpenSearchでのMCPの利用方法は、以下の2つの構成があります。 構成1:OpenSearchからMCPを利用する OpenSearch内でMCPクライアント/サーバーを構築し、ユーザーからの検索内容に応じてMCP経由でリソースを利用する方法。 構成➁:MCPサーバーからOpenSearchを呼び出す ユーザーがMCPクライアントを用意し、OpenSearch内で構築されたMCPサーバー経由でLLMからOpenSearch内のリソースを操作する方法。 はじめに OpenSearch 3.

こんにちは、クラウドエンジニアの青山です。 最近、何か調べたいときには、通常の検索エンジンではなく、生成AIに聞くことが習慣になってきています。 調べたいことが分かりやすく得られるので、最近の生成AIの発展には、驚くばかりです。 とはいえ、単純な検索ではなく、関係するような情報をいろいろ調べたりするのは、生成AIを使っても時間がかかりますよね。 そこで有用なのが、ユーザーの質問に対して、より広く深く考察しながら、回答をしてくれる「DeepResearch」だと思います。 いろいろな生成AIサービスで、この機能が登場してきていますが、今回この「DeepResearch」の機能を、Difyを使って実現したいと思います。 1. 概要 DeepResearchとは Difyとは 2. Dify ワークフローを使ったDeepResearchの実現 ワークフローの説明 ワークフロー中のイテレーションブ

はじめに こんにちは一史です。 先日神代植物公園に行きました、まだ藤の花が残っておりとても綺麗で癒されました。 昨今、開発支援のAIエージェントとしてClineが話題になっています。 github.com ClineはVisual Studio Code(VSCode)の拡張機能であり、単なるコード生成だけでなく、コマンド実行や動作確認・デバッグまでを一貫して行ってくれる点が特徴です。 Clineは任意の生成AIモデルを指定し、コードを生成させることができます。 このためセキュアで実際の開発現場でも活用されるAmazon Bedrockと組み合わせることでビジネスシーンでの活用も可能となります。 今回、LLMとしてBedrockを利用して、CRUD処理を行うアプリを開発できるか、TODOアプリ作成を題材に試していきます。 はじめに 概要 Clineとは? Amazon Bedrockを使う

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 (YAMALEXについて詳細はこちらをぜひご覧下さい。) www.acroquest.co.jp つい先日Phi-4-reasoningというモデルがMicrosoftから発表されました。 軽量な事前学習済み言語モデル(SLM)も性能が上がってきて利用されることが増えてきています。 SLM は量子化などを施すことで、ハイエンド GPU を使わずとも動かせる点が利点です。 そのため、外に出せないデータを扱ったり、通信できない環境で利用されることが多いとされています。 SLMを扱う場合に必要になるのはFine Tuningになります。 OpenAIのようなLLMとは違い、モデル自体はそこまで強力ではないため、実行させたいタスクを狭めて、そのタスク用にFine Tuningしたモデルを利用することが主流です。

こんにちは。大塚です。 AIの進化スピードに驚かされる毎日です。 生成AIだけでなく、データ活用の仕組みもどんどん進化していますね。 今回は、昨年12月にサポートされたBedrock Knowledge Basesのカスタムデータソースとドキュメントの直接取り込みAPIを試してみたいと思います! aws.amazon.com 1. はじめに 2. カスタムデータソース+直接取り込みAPIの概要とメリット カスタムコネクタとは? ドキュメントの直接取り込みとは? 3. 実際に試してみる 事前準備(ナレッジベースの作成) AWSマネジメントコンソールからドキュメントを投入 APIからドキュメントを投入 データソースからドキュメント一覧を取得 4. 制限事項の確認 サポートされていない拡張子のドキュメントを投入した場合 容量の大きいドキュメントの投入 5. まとめ 1. はじめに RAG(Ret

はじめに データ分析エンジニアの木介です。 AWSの公式ドキュメントで欲しい情報を探そうとしても、なかなか目的のページが見つからなかったりすることってありませんか? AWSから「AWS Documentation MCP Server」が公開されたため、本記事では、それを利用して、最新のAWSドキュメントに基づき、質問に回答してくれるFAQアシスタントの作成方法について紹介したいと思います。 MCP Serverの呼び出しには、Claude Desktop および dolphin-mcp を利用します。 github.com はじめに 概要 1. MCPとは MCPのしくみ 2. AWS Documentation MCP Serverとは Claude Desktop経由でAWS ドキュメントのFAQアシスタントを作成する dolphin-mcpでAWS ドキュメントのFAQアシスタント

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 (YAMALEXについて詳細はこちらをぜひご覧下さい。) www.acroquest.co.jp MCP(Model Context Protocol)が登場して少し時間が経ちましたが、その間にMCPに対応するサービスが増え、LLM 用ツールとしてその利用も拡大しています。 ツール提供側・クライアント側のどちらのサービスも増えており、今後さらに対応が広がりそうです。 そのような中で、MicrosoftがAzure MCP ServerというAzureリソースをMCP経由で操作できるMCP Serverを公開しました。 github.com 現在は操作できるリソースは限られていますが、CosmosDBやBlob Storageなどのデータ参照などが可能です。 この記事では簡単にMCPについて説明した後、G

はじめに こんにちは、一史です。 暖かくなりベランダに出している金木犀が新芽を出してきました、春ですね。 さて、ストレージサービス間でファイル転送を実現するサービス、AWS Transfer Familyの新機能として、web appsというものがあります。 aws.amazon.com この機能を使うことで、S3のWebUIをノーコードで作成することができるようになりました。 今回はこの新機能を用いて実際にWebUIを作成し、ユーザー単位のアクセス制御が行えるかを試していきます。 はじめに AWS Transfer Family web apps とは AWS Transfer Family web appsを用いてS3 WebUI作成する WebUIの完成像 WebUIの作成 ユーザーの作成・割り当て ユーザーのファイルへのアクセス権限の設定 作成したS3 WebUIの操作 ユーザーご

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、RAG(Retrieval-Augmented Generation)の台頭などを背景に、ベクトル検索の重要性が増しています。 ベクトル検索は、テキストや画像などの高次元データをベクトル空間に埋め込み、類似度に基づいて検索を行う技術です。 これにより、従来のキーワード検索では捉えきれなかった、意味的な類似性に基づいた検索が可能になります。 (RAGでElasticsearchのベクトル検索を利用するやり方については、こちらの記事で紹介していますので是非ご覧ください) acro-engineer.hatenablog.com 一方で、ベクトル検索を扱うため

はじめに こんにちはデータ分析エンジニアの木介です。 今回は、Hugging Faceより公開されたオープンソースのAIエージェントOpen Deep Researchを実際に動かしていきたいと思います。 huggingface.co はじめに 1. 概要 Open Deep Researchの仕組み 2. Open Deep Researchを動かす 準備 構築方法 検索実行 OpenAI Deep Researchとの比較 まとめ 1. 概要 Deep Researchとは、ウェブ検索をしながら自律的に情報を収集し、詳細なレポートを出力してくれるサービスのことを指します。 現在、「Deep Research」という名称が付けられている代表的なサービスとして、以下のものがあります。 サービス名 OpenAI Deep Research Google Gemini Deep Researc

皆さんこんにちは Acroquestのデータサイエンスチーム「AcroYAMALEX」のチームリーダ、@tereka114です。 AcroYAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 (詳細はこちらをご覧ください。) 私は長崎で開催されているNLP2025に3/12(木)〜参加していました。 私自身はNLP2025、長崎ともに初でワクワクでした。 会場前のNLP2025看板 NLP2025 「言語処理学会」は、言語処理に関する研究を行う日本の学術団体で、自然言語処理、計算言語学、言語情報処理などの分野を扱います。 今回の『言語処理学会 年次大会』は、毎年3月頃に開催され、当該分野における最も重要な学術イベントの一つとして位置づけられています。 端的に言えば、日本語の自然言語処理で大きな学会です。 本年は長崎開催で、2248名の参加が

1. はじめに こんにちは、りょうたです。 先週、ついに待望のDify v1.0.0が正式リリースされて、生成AIを利用したサービスや基盤開発に関わる身として大変ワクワクしております! github.com 本バージョン注目の機能として、エージェントノード と プラグインシステム が導入されています。 エージェントノードとは、予め定義されている「エージェント戦略」を用いて、質問に応じたツールの呼び出しや複数ステップにわたる推論を自動的に実行する、新しいノードです。 今回は、Dify公式が出しているエージェンティック戦略を用いて、チャットフローを作成してみます。 1. はじめに 2. エージェントノードとは 2.1. 基本的な機能 2.2. 従来のワークフローで実現しようとした際との違い 2.3. Difyアプリの「エージェント」との違い 3. エージェントノードを使ってみた 3.1. フロ

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 今回は AWS が提供するオープンソースツール GraphRAG Toolkit を使って、 GraphRAG に入門しようと思います。 GraphRAG Toolkit を使うと、 Amazon Neptune と Amazon OpenSearch Serverless を使用した GraphRAG システムをローコードで実装できます。 なお、2024年12月から Bedrock Knowledge Base で使用できるようになった GraphRAG とは別物なので、混同しないようご注意ください。 1. はじめに 1.1. GraphRAG とは 1.2. Gr

こんにちは。大塚です。 今回は、Amazon Bedrock Knowledge Basesを使い、ベクトルDBとしてAmazon Aurora PostgreSQLの利用を試したいと思います。 昨年の12月にはBedrock Knowledge BasesのベクトルDBとしてAurora PostgreSQLをクイック作成できるようになり、セットアップ手順が大幅に簡素化されました。 このクイック作成機能も活用してセットアップをしてみます。 aws.amazon.com 1. ベクトルストアとして Aurora PostgreSQL をセットアップする 事前準備 Knowledge Basesの作成 Knowledge Basesのテスト 2. OpenSearch Severless と比較する 機能 コスト 3. 検索速度を確認する 4. まとめ 最後に 1. ベクトルストアとして A

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 (詳細はこちらをご覧ください。) LLMやVLMをはじめとした基盤モデルが近年、多く公開されています。 画像や自然言語処理といったものとは異なりますが、時系列モデリングでも基盤モデルが利用されようとしています。 本記事では、時系列基盤モデルの一つである「Chronos-Bolt」を紹介します。 Chronos-Boltについて Chronosは端的に言えば、予め様々な時系列を学習させることで、適用するデータの学習をしなくとも、時系列予測を可能とする時系列基盤モデルです。 そのChronosの後継モデルがChronos-Boltになり、Chronosと比較して、精度、性

はじめに こんにちは一史です。 冬にもかかわらず、自宅のモンステラが新芽を出しており、生命力に驚いています。 さて最近、Amazon Bedrock Flowsの新機能としてマルチターン形式の会話機能がサポートされました。 aws.amazon.com 従来は、ユーザーが1回のプロンプトで処理に必要な情報を全て入力する必要がありましたが、マルチターン形式の会話により不足している情報を適宜AIが聞き返すことが簡単に実現できます。 今回はこのマルチターン形式の会話機能により、対話的なフローを行ってみます。 はじめに 概要 Amazon Bedrock Flowsとは? マルチターンの会話機能とは? Amazon Bedrock Flowsでマルチターンの会話をするフローを作成 フローの概要 マルチターンの会話をするエージェントの作成 PC推薦Lambdaの作成 マルチターンの対話を行ってみる

はじめに 最近OSSのLLMサービスが気になっているデータ分析エンジニアの木介です。 今回は2024年12月に発表された、Amazon Bedrockの「Multi Agent Collaboration」について実際にサンプルコードを動かしながら解説していきます。 aws.amazon.com Multi Agent Collaborationとは 1. 概要 Multi Agent Collaborationとは、Amazon Bedrockが提供する新機能で、複数のAI Agentが協力してタスクをこなすことができる機能です。 AWS公式ブログにあったソーシャルメディアキャンペーンの例では以下のようなものが紹介されていました。 ユーザーから受けたリクエストを、Supervisor Agentが受け取る。 コンテンツ作成を専門とするAgentに投稿の作成を依頼する。 エンゲージメント予

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 突然ですが、動画を検索したくなることってありますよね。 それも、動画のタイトルにはなっていないんだけど、こんなことを話してたんだよな、というざっくりとした記憶しかなく、どうしても見つけることができないこと、あると思います。 あるいは Google 検索などができれば良いのですが、自社内にある動画や、仕事で使う動画となると、そう簡単にはいきません。 そんな困りごとを解決するためのツールを Amazon Nova モデルと Amazon Bedrock Knowledge Base で作成してみました。 Bedrock Knowledge Base を使うことで、ドキュメ

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はLLMのFine Tuningに夢中の日々です。 昨年のMicrosoft Ignite 2024にて、Azure Content Understandingというサービスが発表されました。 このサービスはOfficeドキュメントや画像、音声、動画などのファイルをもとに、RAGシステムなどで使いやすいように生成AIなどを活用してユーザーが定義した構造にデータを取り込むサービスです。 今までだと、音声はSpeech Service、画像はAI Visionなどのサービスをそれぞれ使ってデータ処理する必要があったのを、一つのサービスで構造を定義するだけで処理できるようになりました。 今回はそんなAzure Content Understandingを使って動画から検索エンジンなどに取り込みやすいJSO

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) RAG(検索拡張生成:Retrieval-Augmented Generation)で正しい情報をユーザーに提供する際に特に重要になるのが検索精度です。 そして、検索精度を上げる方法のひとつが「リランク」です。 リランクを行い、検索で取得した結果を関連度で並び替えなおすことで、ユーザーの求めている情報を回答しやすくなります。 そんなリランクを行うモデルがAmazon Bedrockに追加され、 Bedrock Knowledge Baseと組み合わせて使用できるようになりました。 従来は自前でモデルをホストする、など手間がかかりましたが、Knowledge Baseへ