はてなブックマーク

こんにちは、初めましての方は初めまして。今年こそはダイエットするぞと思ってはや二週間、体重はまだ 0.1kg も減っていませんが「まあまだ 11 ヵ月あるし...」と逃げてばかりの 2025 年です。 突然ですが、LLM をサーバレスで動かしたくないですか? 僕はしたくなったので、前回 llama.cpp で LLM を AWS Lambda で動かしてみるという記事を書きました。この記事では量子化することで Lambda で 3B のモデルを動かしているのですが、まとめにも書いているように 7B のモデルでは Lambda でうまく動きませんでした。そのため 3B より大きいモデルについては動かすのを諦めていたのですが、先日夢の中で急な閃きがあり、「各層を分割すればいいじゃないか」ということに気付きました。気付いたからには試してみたくなり、実際に試して動かせることを確認したので記事を書きます

本記事の対象読者: LLM(大規模言語モデル)の複雑な構造や階層を理解しているが、それをどのように組み合わせるかが分からない人 LlaMaモデルに関するすべてのオペレータとアーキテクチャ(RMSNorm、ROPE、SwiGLUの実装を含む)を一行ずつ分解します。 本記事ではhuggingfaceのライブラリを使用しておらず、すべてpytorchで実装しています。また、事前学習済みモデルも使用していません。 スタート地点は『源氏物語』の原文であり、ゴール地点はあなた自身がトレーニングした大規模モデルです。 pytorchを準備してください。GPUがなくても大丈夫です。重要なのはLLMの原理を学ぶことであり、この文章を読んだだけで新しい大規模モデルのアーキテクチャを作れるわけではありません。 本記事では、できる限り平易な言葉を使って原理を解説していきます。 序文 本記事のすべてのコードはGoo

Llamaberry Llamaberryの提案者はMartin Bowlingでした。彼が開発したプロジェクトにはRAGMinerが含まれていました。dev および Replit。前者は、ユーザが RAG アプリケーションおよび LLM アプリケーションで使用する Markdown、XML、または JSON などの形式に簡単に変換できるようにします。後者は、AI を使用してアイデアをコード化するプロジェクトです。 Llamaberryの中核的な考え方は、推論のために思考連鎖(CoT)を使用することです。名前は自然とo1モデルを表すストロベリーに由来します。 HuggingFace地址 Llamaberryは、人間の専門家が難題を解決したときのように、AIに徹底的な思考を教えることができます。 具体的には、Llamaberry は、Groq で実行される Llama 3.170B モデルに

MinIOとは? S3互換のオブジェクトストレージサーバーです。 互換性があるということは、S3とほぼ同じAPIを使用することができます。 またコンテナ上にサーバーを構築することができます。 つまりS3の擬似環境をコンテナで用意することができます。これは、本番環境ではS3を使うアプリケーションを開発環境でも同じように動作させたいという場合にとても便利です。 Laravelの場合は、LaravelのファイルシステムがサポートするS3ドライバを使用することで環境変数をMinIO用に設定するのみで使用することができます。環境に応じてアプリケーションコードを変える必要はありません。 またMinIOはDockerイメージがあるので簡単に環境を構築することができます。 Dockerのボリュームを用いることでMinIOストレージに保存したオブジェクトを永続的に保持できることはもちろん、0から動かしたい時

初めに はじめまして、Toshikiです! 最近、拡散モデルより高速なFlow Matchingが画像や音声の生成に使用されてきています。 そこで、Flow Matchingの技術を音声合成に初めて適応したMatch-TTSという音声合成モデルを実際に動かしてみました! 本記事では、Match-TTSの各部の処理などに関して、簡単に解説します。論文を読んでみましたが理解し切れていない部分も多く、もし誤りなどあればコメントしていただけると嬉しいです! 拡散モデルとFlowMatching 拡散モデルは、画像生成やモーション生成、音声合成等の幅広い生成タスクにおいて、高品質な生成を達成している今流行りの手法です。拡散モデルでは、例えばデータ分布を正規分布へ段々と変換する等の拡散過程を定義して、その逆過程を辿る処理をベースにサンプルが行われますが、この逆過程を辿る際には多くの繰り返しの処理が必要

Optimal Transport Conditional Flow Matching - 拡散モデルに取って代わる次世代の生成技術? こんにちは!Fusic 機械学習チームの鷲崎です。最近、音声や言語処理に興味がありますが、機械学習モデルの開発からMLOpsまでなんでもしています。もし、機械学習で困っていることがあれば、気軽にDMください。 本記事では、Flow Matching (FM)と、その発展版であるOptimal Transport Conditional Flow Matching (OT-CFM)を解説します。最近の生成AIでは、拡散モデルがよく使用されていますが、Flow Matchingは、拡散モデルに取って代わる可能性がある生成技術と考えています。 おもに、Improving and Generalizing Flow-Based Generative Models

本記事では、GitHubを使って日々システム開発している人に向けて、開発スピードを爆速化するために覚えるべきコマンドを5つほどご紹介します。 GitHub CLIとは GitHub CLIは、コマンドラインからGitHubを直接操作できるツールです。リポジトリの作成やクローン、Pull Requestの作成やマージ、Issueの管理など、GitHub上のさまざまなタスクを素早く効率的に実行できます。 インストールしていない人はこちらの記事を参考にインストールしてください。 私のGitHub CLIの活用方法 ここまでの記事を読んで「GitHub CLIを使ってあらゆる操作をシェルで完結させるのか(難しそう)」といった先読みをした人もいるかもしれません。私自身そのような崇高な使い方はできていませんし、実際にはWebブラウザでGitHubにアクセスすることも頻繁にあります。 WebブラウザでG

こんにちは、初めましての方は初めまして。株式会社 Fusic の瓦です。人生で五回目の痛風を発症したので、そろそろお酒を控えるべきかちょっと真剣に悩んでいます。 この記事では、Stack More Layers Differently: High-Rank Training Through Low-Rank Updates(以降 ReLoRA として参照)の解説を行います。この論文は、以前解説した LoRA[1] のアイデアを、ファインチューニングではなく事前学習時に適用したものになります。「ファインチューニングで LoRA 使えば効率的に学習できますよね。じゃあ事前学習にも同じ考えを適用して効率的に学習できるのでは?」みたいな感じです。実装は Github にて公開されています。 概要 LoRA で提案されていた行列分解によるパラメータ削減の方法を、学習時に適用した手法です。ステップ数が

初めての投稿ですがよろしくお願いします、ハンです。 私は福岡の株式会社Fusicの機械学習チームで勤めている者です。機械学習やAWS運用など、困っていることがありましたら気軽にお声かけてください。 この記事では、Lambda LabsのGPU Cloud Serviceを使ってみたレビュー・感想などを書いてみたいと思います。 要約 Lambda Labs、お値段だけを考えると良い! モニタリングなど、提供するサービスが少ないので、自分なりの工夫が必要 使用可能なインスタンス・ストレージの制約があり、Persistanceストレージ連動ができなかったのはすごく残念 なぜLambda Labs?:お値段! 皆さんはクラウドサービスを利用する際、何を一番の選択基準にするのでしょうか? 使用したいGPUの種類や数・求められるセキュリティ・サポート機能など、さまざまな判断基準があると思いますが、以下

こんにちは、初めましての方は初めまして。株式会社 Fusic の瓦です。最近 Franz Ferdinand というバンドにハマっています。 最近 ChatGPT が話題になり、様々な活用がされています。その中で、「どう活用するか」も LLM を用いて設計するツールの開発もいくつかされています。これらのツールでは、「○しろまる○しろまるをしたい」と与えるだけで、どのようなプロセスでタスクを遂行するかを決定し実行します。 この記事ではそんなツールの一つである Auto-GPT を触ってみたいと思います。 事前準備 レポジトリの README に書いてある通りに実行します。 まずレポジトリをクローンし、必要なモジュールのインストールを行います。 git clone https://github.com/Torantulino/Auto-GPT.git cd 'Auto-GPT' pip install -r

色々なモデルが用意されていることが分かります。使用する際は、Text2Image_cuda:0 のように使用するモデルと使いたいデバイスをアンダーバーで繋いで渡すといいようです(Quick Start を参照) Google Colab で試してみる README に colab のサンプルがあるので、そちらで試してみたいと思います。使い方はとても簡単で、%env OPENAI_API_KEY=your_key の your_key を自身の OpenAI API の API KEY に変えて実行するだけです。今回読み込むモデルは "Text2Image_cuda:0,ImageCaptioning_cuda:0,ScribbleText2Image_cuda:0,Image2Scribble_cpu,Image2Canny_cpu,Image2Line_cpu,Image2Pose_cp

こんにちは、初めましての方は初めまして。株式会社 Fusic で機械学習エンジニアをしている瓦です。最近は花粉との戦いで連日連夜盛り上がっています。 前回、LlamaIndex で ChatGPT に専門知識を組み込んでみた でローカルのデータに基づいて ChatGPT を使用する方法を紹介しました。ChatGPT には存在しないローカルのデータに基づいて文を生成出来ていましたが、LlamaIndex では裏でどのようにローカルのデータを使用しているのでしょうか? この記事では、LlamaIndex がどのように動いているのかを探っていきたいと思います[1]。 作成されたインデックスの確認 とりあえず、LlamaIndex で生成されるインデックスについて見ていきましょう。簡単のために、「今日の晩御飯はハンバーグ!」とだけ書いたテキストファイルを用意し、LlamaIndex を使用してみま

こんにちは!Fusic 機械学習チームの鷲崎です。機械学習モデルの開発から運用までなんでもしています。もし、機械学習で困っていることがあれば、気軽にお問い合わせください。 新しい画像セグメンテーションのモデルである、Segment Anything Model(SAM)がMeta社から発表されました(23/4)。 使ってみたところ、分割しすぎな気がしますが、胴体やサンドバックなどうまく分離できています。サンドバックなどデータにほとんど含まれてなさそうですが、すごいです。後ほど解説しますが、プロンプトエンジニアリング次第では、より精度がよくなるかもしれません。 アブストより、SAMの特徴としては、 1100万枚の画像とそれに付随した10億以上のマスクからなる世界最大のデータセットを構築し、訓練した プロンプトを用いて新しい画像分布やタスクにZeroshotで対応できるようにした 多くのタスク

OpenAIから、かなりすごい音声認識モデル Whisperが発表されました。特出すべき点は、教師付き音声68万時間という、かなりヤバめのデータ量で訓練しており、英語では商用の音声認識システムや人間の書き起こしに匹敵する性能とのことです。 社内でも日本語、ブルガリア語、韓国語で試してみましたが、すごい精度でした。日本語の場合、漢字の間違いが多々ありましたが、発音は大体あってそうでした。ブルガリア語は、ロシア語で認識されていました。韓国語は、完璧でした。 しかし、Githubに公開されたコードを見てみると、訓練コードが含まれておらず、公開の予定もないそうです。そこで、本記事では、Whisperの解説に加えて、Fine Tuningの方法を解説します。 ※(注記) Fine Tungingを何となくで作成しているので、正確なコードではないです。気付いた点がありましたら、コメントください。 全てのコード

この記事は SORACOM Advent Calendar 2021 3日目の記事です。 昨年と同様、今年もSORACOMを使ったIoTシステムを開発したので紹介したいと思います。 今年作ったのはズバリ、 「SOSした同僚を確実にお助けするためのIoTパトランプ」 です。 完成したシステムの動画をTwitterに上げていますので、ぜひご覧になられてください。 背景 私が所属する 株式会社Fusic のIoTチームには、少し変わった文化があります。 それは、 開発に行き詰まったり何か相談事があるとき、Slackで「会話を求めます!」 と発言するというものです。 これは韓国出身で流暢な日本語を話す @cheekykorkind が生み出した文化です。 リモートワーク開始当初は「全員常にオンライン」「いきなりSlack CallしてOK」「会話できる状態の人は常にDiscordに入っておく」等い