エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
各図表は言及がない場合、対応する論文から引用しています。 LoRA(2021) LoRA(Low-Rank Adaptation)は... 各図表は言及がない場合、対応する論文から引用しています。 LoRA(2021) LoRA(Low-Rank Adaptation)は、ファインチューニング中にモデルの重み行列で生じる変化が、実は低ランクの構造を持つという仮説に基づいています。 LoRAの仮説背景 先行研究12では、深層学習モデルが非常に多くのパラメータ(高い次元の空間)を持っているにもかかわらず、そのモデルの実効的な複雑さや、学習された表現が占める空間が、パラメータの総数よりもはるかに少ない次元で特徴づけられることを示唆しています。 LoRAは先行研究の知見をもとに、LLMの事前学習済みの重みは固定したまま、各層に非常に小さいアダプター行列を注入することで、タスク特化型のファインチューニングが可能と提案しています。 このアイデアを実装するために、事前に訓練された重み行列 W_0 \in \mathbb{R}^{m \tim