什麼是 AI 中的 LoRA？

LoRA 代表 Low-Rank Adaptation。這是一種參數高效微調方法：保持預訓練模型原始權重凍結，並為選定層學習小得多的低秩矩陣。學習得到的更新可以儲存為適配器，日後套用到相容基礎模型。

核心思想，不被代數迷霧遮擋

傳統完整微調可以更新模型中的許多或全部參數。LoRA 假設針對特定任務的有效變化通常可以用少得多的自由度表示。它不會學習完整更新矩陣，而是把更新表示為兩個秩為 r 的較窄矩陣之積。

有效權重由凍結基礎權重與經過縮放的低秩更新組合而成：

W′ = W + (B × A) · scale

如果所選秩遠小於原始維度，矩陣 A 和 B 的可訓練參數會遠少於完整更新。這會減少訓練記憶體並產生緊湊適配器產出物。基礎模型仍承擔大部分工作。

LoRA 模型、LoRA 適配器和 LoRA 權重

這些短語常被寬泛使用，因此最好加以區分：

• LoRA 方法：微調期間使用的低秩適配技術。
• LoRA 適配器：學習得到的更新，以及將其應用到相容基礎模型所需的設定。
• LoRA 權重：該適配器中的可訓練張量值。
• “LoRA 模型”：常用於簡稱適配器或基礎模型加適配器組合。這個說法有歧義；應詢問實際存在的是哪個產出物。

下載的LoRA 檔案通常不包含完整基礎模型。這就是 UI 會要求你選擇檢查點，再套用一個或多個 LoRAs 的原因。

LoRA 可以學習什麼？

在語言模型中，適配器可以針對領域、任務或指令風格專門化行為。在擴散模型中，LoRAs 常用於視覺風格、角色、主體、產品、概念或較小行為調整。目標模組、秩、資料集和訓練過程決定適配器能表達什麼。

LoRA 不保證品質或保真度。緊湊適配器可能過擬合、與基礎模型衝突、在不同強度下產生不可預測回應，或依賴觸發權杖和預處理選擇。應把模型卡和訓練上下文視為營運後設資料，而非裝飾。

推理時如何使用適配器

相容框架載入基礎模型、讀取適配器設定並將其張量套用至目標模組。部分執行環境讓更新保持獨立，以便啟用、加權或卸載；另一些可以把更新融合到用於部署的派生副本。

融合並不等於讓原始適配器自含式。如果希望調節強度、組合適配器或重現輸出檔案，請保留未融合適配器、精確基礎模型和方案。檢查點與 LoRA 指南說明這些復原區別。

LoRA、QLoRA 與完整微調

LoRA 描述低秩更新。QLoRA 將 LoRA 訓練與量化凍結基礎模型及其他記憶體節省技術結合。最終交付物仍可能是適配器，因此僅憑檔名未必能看出其訓練方式。方法級對比見LoRA 與 QLoRA。

完整微調會更新模型更多部分，可以提供不同容量和營運取捨，但會產生更大狀態和更高資源需求。正確選擇取決於任務、硬體、評估和部署，而不是假定某種方法總是更“專業”。

LoRA 模型庫為何仍會變大

一個適配器相對於基礎模型很緊湊，但模型庫會因變體、秩、輪次、強度、重複下載和多個相容基礎模型系列而增長。基礎檢查點、VAEs、編碼器、預覽和訓練輸出常遠大於任何單個適配器。因此，裝滿小檔案的資料夾可能依賴規模大得多的模型資產。

使用一個基礎模型配多個適配器指南和在不改變權重的情況下釋放 LoRA 磁碟空間的實用工作流程。目標是可復原的連貫系列，而不是不惜代價獲得最小目錄。

LoRA 應與什麼一起封存？

至少保留適配器權重、設定和精確基礎模型識別碼。如果基礎模型私有、在本機修改過或可能消失，也請保留該精確基礎模型。為實現可重現性，請保留相關觸發權杖、訓練設定、資料集引用、授權或使用條款和總和檢查碼。

Tensor Archive 會保留選定的本機張量系列並驗證精確還原。它不會重建缺失基礎模型、編造適配器後設資料，也不會證明兩個名稱相似的架構相容。