はてなブックマーク

本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ:Retrieval augmented generation assessment)の挙動に興味がある人 こんにちは。私はBeatrustのML周辺のお手伝いをしている鈴木宏和と申します。今回はこれから3つのパートに分けて紹介させていただきますが、LLMの応用として特に注目を集めているRAG (Retrieval Augmented Generation)について、RAGの評価の必要性とアプローチ方法について考察しつつ、RAGに特化した評価ライブラリであるRagasの有用性に関する

Beatrust で SRE をやっている Yuta (中川 裕太) です.運用がラクにできるように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログでは,Row Level Security (RLS) 下で現実的なレイテンシで大量データを扱うためにクエリをチューニングした結果とそこから学んだプラクティスを紹介します. モチベーション Beatrust ではセキュリティ向上のために,顧客 (テナント) ごとにデータを論理的に分離する RLS を用いています. tech.beatrust.com tech.beatrust.com おかげさまで Beatrust は BtoB サービスとして順調に成長しており,創業3年目のタイミングで 1 顧客あたり数万人規模のお客様の導入も現実味を帯びてきました.RLS はその性質上,データ量の増加に

Beatrust で SRE をやっている Yuta(中川 裕太)です.運用がラクにできるように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログではご縁があって登壇させていただいた Google Cloud 主催の Born Digital Summit でのサマリと振り返りをしていきます. Born Digital Summit 登壇 「事業成長とともに歩む Cloud Run→GAE→GKE Autopilot の旅路」というタイトルで Google Cloud 主催の Born Digital Summit で登壇してきました. Beatrust 創業から現在まで約2年半でのビジネスの成長とともに,システムのアーキテクチャ変遷とその理由を振り返りました.最初はビジネスドメインが固まっておらず,要件の全容が見えていなかったからこそ

Author: Neo Chiu Background We use Prisma + Postgres from prototype and start to migrate all data with RLS ( Row Level Security ) last year. We are managing multi-tenants data in one database, and we don't want data be accessed cross tenants. RLS restricts data with security policies at database engine level to prevent any unexpected access from client side. You can find more details in Japanese a

Beatrust で SRE をやっている Yuta(中川 裕太)です.運用がラクにできるように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 世の中的には SRE NEXT 2022 が開催され SRE に対する機運が高まってきているこのタイミングで,ブログという場を用いて Beatrust にジョインしてから約1.5年間 SRE として実践してきた筆者自身の Try とその振り返りをしたいと思います. 創業期スタートアップに SRE は必要なの? SRE はある程度成熟した企業が持つもので,そもそも創業期スタートアップに SRE を設置する必要があるのかという問いはあるかと思います. Beatrust は創業3年目のスタートアップで,確かに同様なフェーズにあるスタートアップではシステムの安定性よりもまずは PMF を達成するために機能開発を優

はじめに Beatrust VPoEの Ryo(長岡 諒) です。 Beatrust は2020年3月創業で現在3年目となりました。創業当初は3名だったのですが、現在社員は16名で業務委託の方も含めると30名以上の組織体となっており、初期からリモートワーク主体でした。しかし、リモートワーク主体の組織では意志を持って取り組まないとコミュニティのつながりが薄れサイロ化し、セールスとプロダクトなど各チームでのセクションの境界が強まり情報や意思決定の断絶が起こりがちです。我々も最初期は全員で議論していましたが、人数やチーム課題の変化に伴い共有・議論の仕方は進化しており、どんな変遷を経て行き着いたのかその過程から共有することで参考になるものもあるかと思いまとめました。 チーム開発においてどういった会議体・プロセスでプロダクト開発を進めようか試行錯誤している方や、リモートワークが主体となりチームサイズ

こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya (白川 達也)です。 以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com 下記は今回ご紹介する現状のキーフレーズ抽出における知見です。 多言語BERTモデルを使っておくと、キーフレーズ抽出用に fine tune しても結構多言語転移できてしまう。 キーフレーズ抽出において、BERTはフルレイヤーである必要はなく、最初の数層程度で十分。 BERT のAttention Map のみからでもキーフレーズの推定はできるが、BERTの出力をそのまま使ったほうがロバストっぽい。 モデルの最後に Bi-LSTM のような

Beatrust で SRE をやっている Yuta(中川 裕太)です.運用がラクにできように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログでは,Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します. モチベーション Beatrust では初期立ち上げの開発コストを下げるため,もともと GAE を用いて開発運用してきました.様々なお客様にご利用いただく中で,嬉しいことに今後 10 倍,100 倍のユーザ数成長が見込めるようになってきました.そういった状況下で以下のような GAE の課題も顕在化しており,インフラの抜本的見直しを実施する必要がありました. GAE では Auto

こんにちは、Beatrust で Data Scientist をやっている Ouyang(欧陽 江卉)です。 Beatrust では、ユーザー情報を匿名化した上でプロフィールデータや行動ログなどの様々なデータを蓄積・活用しています。また、クライアントや内部向けにデータ分析・レポーティングも行っています。それらのほとんどは手に馴染んだツールを使って内製しているのですが、近年モダンなデータスタックを用いたデータ利活用もトレンドになっています。今回は、そのトレンドをキャッチアップし、有用なツールがあれば積極的に導入していこうと考え、下記のツールを試用しそれぞれの強みをまとめてみました。 データの探索的分析のツール Exploratory Reversed ETL プラットフォーム Hightouch データモデリング・レポーティングツール Holistics Beatrust のデータ分析にお

こんにちは。Beatrust で Libero として、現在は Product Growth を担当している Rei(真浦 玲)です。先週、2022 年 4 月 1 日に実施した、エイプリルフール限定の特別プロジェクト Belle(ベル)ちゃんに関するプロジェクト結果をご報告いたします。 tech.beatrust.com プロジェクト概要 アムールトラの Belle ちゃん アムールトラの Belle ちゃんを Beatrust 上に登場させて、ユーザーの皆さんにゲーム性を持ってプロダクト機能を使っていただくために、 特定の機能を利用したらお肉をあげて、トラの動物保護団体への寄付に貢献できるというプロジェクトを、一日間限定で実施いたしました。 Beatrust 上に Belle ちゃんのプロフィール情報を新規登録する Belle ちゃんのプロフィール情報に対する機能を利用してもらう(特に

Beatrust で SRE をやっている Yuta(中川 裕太)です.運用がラクにできように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログでは,データガバナンスをもってセキュアにお客様のデータを扱いつつ,データ分析者にとっても使いやすいことを目指して実装してきた Beatrust のデータ分析基盤について紹介します. モチベーション Beatrust では組織の中にある人びとの情報の構造や,協業に至るまでのプロセスに着目して BtoB SaaS を開発しています.まだ誰も答えが分かっていない領域で PMF を目指す中で,プロダクト上でそれぞれのユーザはどういった行動を取るのかということは学びの宝庫となっています.例えば,ユーザのある行動を誘発したくて開発を進めた機能が別の使われ方をして,むしろそちらの使い方の方がお客様にマッチして

Beatrust で SRE をやっている Yuta(中川 裕太)です.運用がラクにできように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログでは,Beatrust のセキュリティ向上施策の一つである Row Level Security(RLS)について,実装時に課題になった点とその解決策,また RLS を適用して約3ヶ月運用してくる中で課題となった点とその解決策について紹介します. TL;DR 大企業に求められるセキュリティ要件を満たすためデータを論理的に分離しました.その実装方法として,実装・運用コストやセキュリティ向上効果などから RLS を選択しました. index を適切に張れば 数10msec 程度の性能劣化で RLS 自体は適用できました.一方で,本来フレームワークが想定する DB connection の管理方法とは

Beatrust の tatsuya(白川)です。Beatrust は 人々の経験や強みを可視化して、自由に繋がり、協業・共創できる環境を作る という Mission を達成するためのサービスづくりとお客様への提供・活用促進活動を行っています。 beatrust.com キーワード抽出は Beatrust の基礎技術のひとつなのですが、これまで Beatrust で開発していたキーワード抽出器は辞書を用いたルールベースのものだったので、辞書外のキーワードを抽出できないというデメリットがありました。Beatrust のお客様は様々な業界に渡っており、それぞれ固有の専門用語や社内でのみ通用する社内用語なども多く、辞書ベースの方法ではそれらのキーワードを抽出することは現実的に不可能でした。 今回そんな状況を鑑みて、辞書ベースのキーワード抽出器を用いて、辞書なしのキーワード抽出器を学習するというチ

Beatrust の ML Lead の Tatsuya(白川 達也)です。 機械学習はデータからの学習プロセスを経てデータに最適化した機能を提供する技術ですが、新しい機能の導入前の段階ではユーザーの行動ログデータなどが蓄積されていないため、機械学習ベースの機能を新規提供することには本質的な困難さがあります。 本記事は、Beatrust People における Tag Suggestion 機能を例に、そのような状況においてどのように機械学習ベースの機能を構築していったのかを記したものです。 本記事で書いたこと Beatrust における Tag Suggestion 機能の紹介 データがない状況でどうあがいたか 機能改善ポイント(Relevance、Importance、Diversity) 仲間を募集しています! なお、今回の記事は私のほかにもいつも Beatrust を手伝ってくれて