AI における LoRA とは？

LoRA は Low-Rank Adaptation の略です。事前トレーニング済みモデルの元のウェイトを固定し、選択した層に対して、はるかに小さな低ランク行列を学習するパラメーター効率のよいファインチューニング手法です。学習済み更新はアダプターとして保存し、後で互換ベースモデルへ適用できます。

代数で曖昧にしない中核的な考え方

従来の完全ファインチューニングは、モデル内の多数またはすべてのパラメーターを更新できます。LoRA は、特定タスクに有用な変化を、より少ない自由度で表せることが多いと仮定します。完全な更新行列を学習する代わりに、ランク r を持つ二つの細い行列の積として更新を表します。

有効ウェイトは、固定ベースウェイトとスケーリングされた低ランク更新を組み合わせます。

W′ = W + (B × A) · scale

選択したランクが元の次元よりはるかに小さい場合、行列 A と B のトレーニング可能パラメーターは完全更新より大幅に少なくなります。これによりトレーニングメモリが減り、コンパクトなアダプター成果物が生成されます。処理の大部分は引き続きベースモデルが担います。

LoRA モデル、LoRA アダプター、LoRA ウェイト

これらの語は曖昧に使われるため、次のように区別すると役立ちます。

• LoRA 手法：ファインチューニング中に使う低ランク適応技術。
• LoRA アダプター：学習済み更新と、それを互換ベースへ適用するために必要な設定。
• LoRA ウェイト：そのアダプター内のトレーニング可能なテンソル値。
• 「LoRA model」：アダプターまたはベース＋アダプターの組合せを指す一般的な略称。曖昧なため、実際にどの成果物が存在するか確認してください。

ダウンロードしたLoRA ファイルには通常、完全なベースモデルは含まれません。そのため UI ではチェックポイントを選択し、一つ以上の LoRAs を適用するよう求められます。

LoRA は何を学習できる？

言語モデルでは、アダプターがドメイン、タスク、指示スタイルに合わせて挙動を特化できます。拡散モデルでは、LoRAs は視覚スタイル、キャラクター、被写体、製品、概念、より小さな挙動調整によく使われます。対象モジュール、ランク、データセット、トレーニング手順が、アダプターの表現力を決めます。

LoRA は品質または忠実度を保証しません。コンパクトなアダプターでも過学習し、ベースと競合し、強度によって予測不能に反応し、トリガートークンや前処理の選択に依存する場合があります。モデルカードとトレーニングの文脈を、飾りではなく運用メタデータとして扱ってください。

推論時のアダプターの使われ方

互換性のあるフレームワークはベースを読み込み、アダプター設定を読み、そのテンソルを対象モジュールへ適用します。一部のランタイムでは更新を分離したまま、有効化、重み付け、アンロードできます。他では更新を派生コピーへ統合してデプロイできます。

統合は、元のアダプターを自己完結させることと同じではありません。強度の調整、アダプターの組合せ、出力ファイルの再現を行うなら、未統合アダプター、完全なベース、レシピを保持してください。チェックポイントと LoRA の比較ガイドに、それらの復元上の違いがあります。

LoRA、QLoRA、完全ファインチューニング

LoRA は低ランク更新を表します。QLoRA は、LoRA トレーニングを量子化された固定ベースおよび追加のメモリ節約技術と組み合わせます。最終成果物がアダプターである場合もあるため、ファイル名だけではトレーニング方法が分からないことがあります。手法単位の比較はLoRA と QLoRA の比較をご覧ください。

完全ファインチューニングはモデルのより多くの部分を更新し、異なる能力と運用上のトレードオフを提供できますが、より大きな状態と高いリソース要件を生みます。正しい選択はタスク、ハードウェア、評価、デプロイによって決まり、ある手法が常により「プロ向け」だという思い込みでは決まりません。

LoRA ライブラリがそれでも大きくなる理由

一つのアダプターはベースよりコンパクトですが、コレクションはバリアント、ランク、エポック、強度、重複ダウンロード、複数の互換ベースファミリーによって増大します。ベースチェックポイント、VAEs、エンコーダー、プレビュー、トレーニング出力は、多くの場合どの単一アダプターよりも大きくなります。そのため小さなファイルでいっぱいのフォルダーが、はるかに大規模なモデル資産へ依存することがあります。

多数のアダプターを一つのベースモデルで整理するガイドと、ウェイトを変えずに LoRA のディスク容量を空ける実践ワークフローを使用してください。目標は復元可能な一貫したファミリーであり、どんな犠牲を払っても最小ディレクトリにすることではありません。

LoRA と一緒に何をアーカイブすべき？

最低限、アダプターウェイト、その設定、正確なベースモデル識別子を保持します。ベースが非公開、ローカル変更済み、または消える可能性があるなら、その完全なベースも保持します。再現性のため、関連するトリガートークン、トレーニング設定、データセット参照、ライセンスまたは利用条件、チェックサムを保持してください。

Tensor Archive は選択したローカルテンソルファミリーを保存し、完全な復元を検証します。欠けたベースを再作成せず、アダプターメタデータを創作せず、似た名前の二つのアーキテクチャに互換性があると証明しません。