一个基础模型,多个适配器:保留部署而不重复基础模型

LoRA 的小是相对基础模型而言;如果打包方式让大型基础模型重复五次,它就不再小。基础模型和适配器真正属于一组时,存储问题不是“我能压缩哪个文件?”,而是“我日后需要恢复哪种关系?”

一个基础模型连接到多个小型适配器版本,形成单一相关模型系列。
小型适配器仍依赖基础模型;重复的自包含部署可能多次重复该基础模型。

基础模型重复模式

创建自包含部署文件夹很常见,因为它们便于复制或移交:每个适配器一个文件夹,并各自携带所需基础模型。单独看每个文件夹都很容易理解,但当同一基础模型出现在每个部署中时,整个模型库就会变得昂贵。

有用的单位是相关模型系列。如果能用一句话说明关系,就把基础模型、适配器和部署版本放在一起。不要只因为不相关模型恰好使用同一硬盘就把它们混在一起。

之前:自包含文件夹 每个部署中都复制基础模型

本地使用方便,但相同字节可能在相关版本中反复出现。

之后:一个相关模型系列 一个基础模型,清晰的适配器版本
基础检查点 Adapter A(适配器 A) Adapter B(适配器 B) Adapter C(适配器 C)

一个模型系列中应包含什么?

不要把每个检查点、每个 LoRA 或每种模型格式合并为一个巨型归档。归档应减少歧义,而非增加歧义。如果无法解释某文件为何属于该系列,请分开保存。

测量结果实际表明什么

Tensor Archive 的受控五部署模型和适配器示例中,每个部署独立存储时为 907.3 MB,作为一个相关模型系列时为 261.6 MB,物理存储减少 71.2%。该数字说明的是基础模型重复模式,并非对适配器的一般性承诺。

阅读适用范围,而不只是百分比。 测试使用了五个相关自包含部署,并且实现了精确恢复。单个适配器、没有共享数据的文件夹或由不相关模型组成的模型库,结果可能截然不同。

测试该模式的安全方法

  1. 选择基础模型,且只选择确实与其相关的适配器。
  2. 使用 Add model family → Local folder,然后运行 Analyse source
  3. 归档前检查结果;这正是真实模型系列证明自身合理性的环节。
  4. 将其归档,运行 Verify,然后恢复单独副本。
  5. 手动删除任何旧工作副本前,请在需要该版本的工作流程中测试恢复版本。

将存储与转换分开

这并不是转换每个文件或改变模型权重的理由。Tensor Archive 不是量化器或模型转换器;它是用于精确恢复很重要的相关版本的本地归档。如果软件包不清楚,请在分组前检查LoRA 文件包含什么。要了解存储与转换的区别,请阅读 SafeTensors 存储与量化

关系真实时,工作流程很简单:分析、归档、验证、恢复,然后手动选择要删除的内容。下载 Tensor Archive,用一个模型系列完成该测试。

来源

保留模型。清理工作硬盘。免费下载 ↓