エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
目的 DeepSeek V2論文のMulti-head Latent Attention (MLA)における、下記表現を理解するために「数式で... 目的 DeepSeek V2論文のMulti-head Latent Attention (MLA)における、下記表現を理解するために「数式で」整理をすることが目的の記事です。 主に、「どの重みを」「どのように吸収するのか」を「数式で」整理します。 (そのうち詳細な解説付きの記事にするかも) In addition, during inference, since W^{UK} can be absorbed into W^Q, and W^{UV} can be absorbed into W^{O}, we even do not need to compute keys and values out for attention. 本記事は、DeepSeek V2の論文中に記載されているMulti-head Latent Attention (MLA)について理解されていることが前提に