檢查點與 LoRA 有什麼區別？
模型檢查點記錄某一時點的模型狀態；在影像產生社群中，“檢查點”通常指一組可載入的完整模型權重。LoRA 儲存一個小得多的學習更新，並將其應用到相容基礎模型。檢查點可能在目標工作流程中獨立執行；LoRA 不包含該基礎模型。
“檢查點”有兩個相關含義
訓練期間，檢查點是可用於評估或繼續工作的已儲存狀態。它可能包括模型權重、最佳化器狀態、排程器狀態、隨機數狀態和訓練後設資料。推理檢查點通常是更精簡的匯出，僅包含載入模型所需的權重和設定。
在 Stable Diffusion 社群中，“檢查點”也常作為 UI 中所選主要模型檔案的簡稱。但這並不保證嵌入了所有依賴項。工作流程仍可能需要由應用程式或配套軟體套件提供的 VAE、文字編碼器、分詞器或設定。始終根據你打算復原的載入器來定義“完整”。
LoRA 是學習得到的更新，而不是第二個完整模型
Low-Rank Adaptation 會凍結預訓練權重，並為選定層學習低秩更新。推理時，框架可將該更新動態套用至基礎模型，或將其融合進派生副本。適配器很小，是因為它儲存更新，而不是暗中壓縮每個基礎權重。
這種依賴關係是檢查點與 LoRA 區別的核心。為某個 Stable Diffusion 系列訓練的人像風格 LoRA，不能假定適用於另一種架構。語言模型適配器同樣依賴其設定所述基礎模型和目標模組。
實用對比
| 問題 | 模型檢查點 | LoRA |
|---|---|---|
| 儲存內容 | 廣泛的模型狀態；有時還包含其他訓練狀態 | 低秩適配器權重和設定 |
| 它能獨立執行嗎？ | 通常可作為其預期工作流程中的主要模型載入 | 不能；它需要相容的基礎模型和載入器 |
| 典型用途 | 基礎模型、完整微調、里程碑或續訓點 | 高效專門化、風格、主體或任務適配 |
| 儲存 | 通常大得多，因為它表示的狀態更多 | 通常小得多，因為只學習選定更新 |
| 復原問題 | 我是否擁有所需的完整軟體套件或訓練狀態？ | 我是否擁有精確相容的基礎模型、適配器設定和權重？ |
合併 LoRA 會讓它變成檢查點嗎？
將適配器融合或合併到基礎模型會產生派生權重。工具可能把這些權重儲存到通常稱為檢查點的檔案中，但該輸出不是原始基礎模型，也不一定保留基礎模型與適配器之間乾淨、可逆的分離。浮點運算、dtype 轉換和匯出選項都可能影響結果。
如果希望改變強度、組合適配器或重現合併，請保留未融合適配器和精確基礎模型。當那個精確部署檔案在營運中很重要時，也要保留合併後的產出物。不要僅因一個合併檔案曾成功載入一次就刪除來源。
微調期間應保留什麼
對於正在執行的訓練，中間檢查點有助於評估和從中斷中復原。訓練完成後，保留能夠回答真實問題的里程碑：選定的最終適配器、一個或多個有充分理由的對比檢查點、設定、訓練程式碼或命令、資料集引用和評估記錄。LoRA 訓練檢查點指南將其視為可重現性決策，而不是一概“全部保留”。
最終適配器不等於可續訓狀態。匯出的 LoRA 權重可能足以用於推理，但缺少精確繼續訓練所需的最佳化器和排程器狀態。
封存系列，而不是孤立檔名
一個有用的 LoRA 系列應包含足夠資訊，以識別並取得相容基礎模型。當基礎模型稀有、私有或在本機修改過時，請將它與適配器一同保留。檢查點系列可能還包含執行環境首次載入時靜默提供的配套元件。
Tensor Archive 可幫助把選定本機張量作為相關系列保留並驗證。它不會根據檔名猜測相容性、重建缺失的訓練狀態，也不會把 LoRA 變成獨立基礎模型。
繼續處理你已有的產出物
如果令人困惑的是適配器副檔名，請閱讀LoRA 檔案包含什麼。如果在選擇訓練方法，請閱讀LoRA 與 QLoRA。如果問題由儲存壓力引起，請了解如何在不改變 LoRA 權重的情況下釋放磁碟空間。
來源
- LoRA: Low-Rank Adaptation of Large Language Models — 原始方法及凍結基礎模型與低秩更新設計。
- Hugging Face PEFT：LoRA — 目前適配器設定和目標模組實現。
- Hugging Face PEFT檢查點格式 — 適配器權重、設定和基礎模型依賴關係。
- Diffusers：載入適配器 — 在擴散工作流程中載入、卸載和融合 LoRA 適配器。