エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに Kotoba Techno logiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)で... はじめに Kotoba Techno logiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba Techno logiesはNLPと分散並列学習に関する技術を用いて、日本及び非英語圏におけるLLMやマルチモーダルモデルの実運用に向けた研究開発を行っています。 今回は、Transf ormerに代わるアーキテクチャとして注目を集めているMamba(State Space Model: 状態空間モデル)を分散学習するためのライブラリであるkotomambaを開発、公開しました。 本記事は、このライブラリの使用方法と、Mambaについて簡単に説明を行います。 状態空間モデル(State Space Models) 状態空間モデルに関する詳細な説明は、2024年1月に行った弊社インターンの栗田さんのTech Talkスライドを参照ください。 端的