Checkpoint e LoRA a confronto: qual è la differenza?
Un checkpoint del modello registra lo stato del modello in un determinato momento; nelle comunità di generazione delle immagini, «checkpoint» spesso indica un insieme caricabile dei pesi completi del modello. Una LoRA archivia un aggiornamento appreso molto più piccolo applicato a un modello di base compatibile. Il checkpoint può funzionare autonomamente nella pipeline di destinazione; la LoRA non contiene tale base.
«Checkpoint» ha due significati correlati
Durante l'addestramento, un checkpoint è uno stato salvato da cui il lavoro può essere valutato o ripreso. Può includere pesi del modello, stato dell'ottimizzatore, stato dello scheduler, stato dei numeri casuali e metadati di addestramento. Un checkpoint di inferenza è spesso un'esportazione più snella contenente i pesi e la configurazione necessari per caricare un modello da utilizzare.
Nelle comunità Stable Diffusion, «checkpoint» è anche un'abbreviazione per un file principale del modello selezionato in una UI. Ciò non garantisce che ogni dipendenza sia incorporata. Una pipeline può ancora richiedere un VAE, encoder di testo, tokenizer o configurazione forniti dall'applicazione o dal pacchetto complementare. Definisci sempre «completo» in relazione al loader che intendi recuperare.
Una LoRA è un aggiornamento appreso, non un secondo modello completo
Low-Rank Adaptation mantiene congelati i pesi preaddestrati e apprende un aggiornamento a basso rango per i livelli selezionati. Durante l'inferenza, un framework può applicare dinamicamente tale aggiornamento alla base o integrarlo in una copia derivata. L'adapter è piccolo perché archivia l'aggiornamento, non perché comprime segretamente ogni peso di base.
Questa dipendenza è la distinzione centrale tra checkpoint e LoRA. Non si può presumere che una LoRA per ritratti addestrata per una famiglia Stable Diffusion funzioni con un'altra architettura. Analogamente, un adapter di un modello linguistico dipende dal modello di base e dai moduli di destinazione descritti nella relativa configurazione.
Confronto pratico
| Domanda | Checkpoint del modello | LoRA |
|---|---|---|
| Cosa archivia | Stato generale del modello; talvolta stato di addestramento aggiuntivo | Pesi e configurazione dell'adapter a basso rango |
| Può funzionare da solo? | Spesso caricabile come modello principale nella pipeline prevista | No; richiede una base e un loader compatibili |
| Uso tipico | Modello di base, fine-tuning completo, traguardo o punto di ripresa | Specializzazione efficiente, adattamento a stile, soggetto o attività |
| Archiviazione | Di solito molto più grande perché rappresenta molto più stato | Di solito molto più piccolo perché vengono appresi soltanto gli aggiornamenti selezionati |
| Domanda sul recupero | Ho il pacchetto completo o lo stato di addestramento necessario? | Ho la base esatta compatibile, la configurazione dell'adapter e i pesi? |
L'unione di una LoRA la rende un checkpoint?
L'integrazione o l'unione di un adapter in una base produce pesi derivati. Uno strumento può salvare tali pesi in un file comunemente chiamato checkpoint, ma tale output non è la base originale e non conserva necessariamente una separazione pulita e reversibile tra base e adapter. Le operazioni in virgola mobile, la conversione del dtype e le scelte di esportazione possono influire sul risultato.
Conserva l'adapter non integrato e la base esatta quando vuoi modificarne l'intensità, combinare adapter o riprodurre l'unione. Conserva anche l'artefatto unito quando quello specifico file di deployment è importante sul piano operativo. Non eliminare le fonti soltanto perché un file unito è stato caricato correttamente una volta.
Cosa conservare durante il fine-tuning
Per un'esecuzione attiva, i checkpoint intermedi sono utili per la valutazione e il recupero da un'interruzione. Al termine dell'esecuzione, conserva i traguardi che rispondono a una domanda reale: l'adapter finale scelto, uno o più checkpoint di confronto difendibili, la configurazione, il codice o comando di addestramento, il riferimento al dataset e il registro di valutazione. La guida ai checkpoint di addestramento LoRA considera questa una decisione di riproducibilità anziché un generico «conserva tutto».
Un adapter finale non è uno stato di addestramento ripristinabile. I pesi LoRA esportati possono essere sufficienti per l'inferenza pur omettendo lo stato dell'ottimizzatore e dello scheduler necessario per proseguire esattamente l'addestramento.
Archivia le famiglie, non i nomi dei file isolatamente
Una famiglia LoRA utile include un contesto sufficiente a identificare e ottenere la base compatibile. Quando la base è rara, privata o modificata localmente, conservala insieme all'adapter. Una famiglia di checkpoint può includere componenti complementari forniti silenziosamente dal runtime durante il primo caricamento.
Tensor Archive aiuta a conservare e verificare i tensori locali selezionati come una famiglia correlata. Non deduce la compatibilità dal nome di un file, non ricostruisce lo stato di addestramento mancante e non trasforma una LoRA in un modello di base autonomo.
Continua con l'artefatto che possiedi
Se l'estensione dell'adapter è la parte poco chiara, leggi cosa contiene un file LoRA. Se stai scegliendo un metodo di addestramento, consulta LoRA e QLoRA a confronto. Se la domanda nasce dalla pressione sullo spazio, scopri come liberare spazio su disco senza modificare i pesi LoRA.
Fonti
- LoRA: Low-Rank Adaptation of Large Language Models — il metodo originale e il progetto con base congelata e aggiornamento a basso rango.
- Hugging Face PEFT: LoRA — configurazione attuale dell'adapter e implementazione dei moduli di destinazione.
- Formato dei checkpoint Hugging Face PEFT — pesi dell'adapter, configurazione e dipendenza dal modello di base.
- Diffusers: caricare gli adapter — caricamento, rimozione dalla memoria e fusione degli adapter LoRA con pipeline di diffusione.