一つのベースモデルと複数のアダプター:ベースを繰り返さずにデプロイを保持する

LoRA は小さくても、パッケージ化の方法によっては大きなベースモデルを五回繰り返すことになります。ベースとアダプターが本当に一つのまとまりなら、ストレージ上の問いは「どのファイルを絞れるか」ではなく、「後でどの関係を復元する必要があるか」です。

一つの関連ファミリーとして、一つのベースモデルに複数の小さなアダプターバージョンが接続された構成。
小さなアダプターもベースに依存します。自己完結型デプロイを繰り返すと、そのベースも何度も重複する場合があります。

ベースが繰り返されるパターン

コピーや引き渡しに便利なため、自己完結型のデプロイフォルダーを作ることは一般的です。アダプターごとに一つのフォルダーを用意し、必要なベースモデルも含めます。各フォルダーは個別には理解しやすい一方、すべてのデプロイに同じベースが入ると、ライブラリのストレージ消費は大きくなります。

有用な単位は関連ファミリーです。一文で関係を説明できるなら、ベース、アダプター、デプロイ版をまとめて保持します。同じディスクを使っているというだけで、無関係なモデルを混ぜないでください。

変更前:自己完結型フォルダー 各デプロイにコピーされたベースモデル

ローカルでは便利ですが、同じバイト列が関連リリース間で何度も現れる場合があります。

変更後:一つの関連ファミリー 一つのベース、明確なアダプターバージョン
ベースチェックポイント Adapter A Adapter B Adapter C

一つのファミリーに含めるもの

すべてのチェックポイント、LoRA、モデル形式を巨大な一つのアーカイブにまとめないでください。アーカイブは曖昧さを増やすのではなく、減らすべきです。ファイルがそのファミリーに属する理由を説明できなければ、分けておきます。

測定結果が実際に示すもの

Tensor Archive の管理された五デプロイのモデルとアダプターの例では、各デプロイを個別保存した場合は 907.3 MB、関連する一つのファミリーとして保存した場合は 261.6 MB で、物理ストレージが 71.2% 少なくなりました。この数値の要点は、アダプター全般についての普遍的な主張ではなく、ベースが繰り返されるパターンです。

割合だけでなく対象範囲を読んでください。 関連する自己完結型デプロイを五つ使用し、復元は正確でした。単独のアダプター、共有データのないフォルダー、無関係なモデルのライブラリでは、結果が大きく異なる場合があります。

パターンを安全にテストする方法

  1. ベースと、それに本当に関連するアダプターだけを選びます。
  2. Add model family → Local folder を選択し、Analyse source を実行します。
  3. アーカイブ前に結果を確認します。ここで、実在するファミリーとして保持する価値があるか判断します。
  4. アーカイブして Verify を実行し、別のコピーを復元します。
  5. 古い作業コピーを手動で削除する前に、必要とするワークフローで復元版をテストします。

保存と変換を分ける

これは、すべてのファイルを変換したりモデル重みを変更したりする理由にはなりません。Tensor Archive は量子化ツールでもモデル変換ツールでもなく、正確な復旧が重要な関連バージョン向けのローカルアーカイブです。パッケージが不明確なら、まとめる前にLoRA ファイルの内容を確認してください。保存と変換の違いについては、SafeTensors の保存と量子化を参照してください。

関係が実在するなら、手順は簡単です。分析、アーカイブ、検証、復元を行い、その後で削除対象を手動で選びます。一つのファミリーで試すには、Tensor Archive をダウンロードしてください。

出典

モデルは残し、作業ディスクを空ける。無料ダウンロード ↓