[フレーム]
はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできます コメント表示の設定

ブックマークしました

ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

38users がブックマーク コメント 2

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

vLLMで独自実装モデルを高速推論させる

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

はてなブックマーク

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページ

記事へのコメント2

  • 注目コメント
  • 新着コメント
misshiki
"独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説。特に、動画生成モデルを例に、Hugging Face Transformersライブラリで実装されたモデルをどのようにvLLMに適合させるか、その手順を詳しく説明。"

その他
isrc
LLMの高速推論・サービングのライブラリ/このブログではチューリングで開発した自己回帰Transformerを用いている動画生成のモデル"Terra"をvLLMを用いて高速化することを考えます。vLLM版の実装ではおよそ2.6倍高速

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー
アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

usersに達しました!

さんが1番目にブックマークした記事「vLLMで独自実装モ...」が注目されています。

気持ちをシェアしよう

ツイートする

vLLMで独自実装モデルを高速推論させる

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記... はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transf orm

ブックマークしたユーザー

  • pidekazu2025年01月07日 pidekazu
  • deejayroka2024年12月27日 deejayroka
  • serihiro2024年12月20日 serihiro
  • masayuki-as2024年12月15日 masayuki-as
  • ranto3811242024年12月10日 ranto381124
  • dhesusan46492024年12月07日 dhesusan4649
  • jackson20zT91zT92024年12月06日 jackson20zT91zT9
  • esuji52024年12月05日 esuji5
  • misshiki2024年12月05日 misshiki
  • Nao_Y2024年12月05日 Nao_Y
  • mole-studio2024年12月05日 mole-studio
  • triceratoppo2024年12月05日 triceratoppo
  • kyopeco2024年12月05日 kyopeco
  • naggg2024年12月05日 naggg
  • soy-curd2024年12月05日 soy-curd
  • en-en-ra2024年12月05日 en-en-ra
  • yuiseki2024年12月05日 yuiseki
  • t_ysmr2024年12月05日 t_ysmr
すべてのユーザーの
詳細を表示します

ブックマークしたすべてのユーザー

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しましたx

AltStyle によって変換されたページ (->オリジナル) /