Archivia i checkpoint completati dell'addestramento LoRA senza trattare il ripristino come un ripensamento
Un artefatto di addestramento completato non è la stessa cosa di un checkpoint di addestramento attivo. Conserva le versioni finite che devi mantenere e recuperare, ma non confondere un archivio con i meccanismi necessari per riprendere un'esecuzione interrotta.
Separa archiviazione, addestramento e recupero
«Archiviazione dei checkpoint» viene spesso usato per più compiti contemporaneamente: conservare una versione completata per l'inferenza, mantenere la cronologia del progetto, recuperare dopo un'esecuzione fallita e spostare dati tra macchine. Questi requisiti non sono intercambiabili.
Tensor Archive è utile dopo il completamento di una versione, quando vuoi che una famiglia locale di artefatti correlati resti recuperabile. Non è uno strumento di addestramento, un gestore di checkpoint attivi né un sostituto dei file e del processo necessari allo stack di addestramento per riprendere in sicurezza. Conserva il materiale dell'esecuzione attiva dove lo stack se lo aspetta finché l'esecuzione non è davvero terminata.
Scegli consapevolmente la famiglia completata
Una famiglia ragionevole può includere versioni LoRA completate di uno stesso esperimento, il modello di base a cui devono accompagnarsi, gli output di valutazione da conservare e i piccoli file di progetto che rendono comprensibile una release. Non dovrebbe includere automaticamente ogni esperimento presente sul disco.
Prima di archiviare, assegna un nome semplice che descriva progetto, base prevista e confine della versione. Non è burocrazia: una famiglia chiara è più facile da ripristinare correttamente quando il contesto originale dell'addestramento è sbiadito.
Archivia dopo la soglia di completamento
- Completa l'esecuzione e conserva il materiale di addestramento attivo richiesto dal tuo flusso.
- Scegli gli artefatti completati che devono restare insieme per il recupero o il deployment.
- Esegui Analyse source in Tensor Archive e controlla che cosa verrà incluso.
- Archivia la famiglia come copia locale gestita, quindi esegui Verifica.
- Ripristina in un output separato e prova la versione recuperata nel flusso di inferenza o valutazione di destinazione.
- Solo dopo questa dimostrazione dovresti eliminare manualmente una copia di lavoro ridondante per liberare spazio.
Il recupero esatto ha un significato ristretto. Stabilisce che i file archiviati possano essere ripristinati esattamente. Non afferma che il modello ripristinato sia il checkpoint migliore, che abbia la qualità di valutazione prevista o che possa riprendere un'esecuzione attiva.
Che cosa mostra il risultato pubblicato sui checkpoint
Nella validazione controllata di checkpoint BF16 sequenziali di Tensor Archive, cinque versioni complete per un totale di 4.060 GB di origine occupavano 1.846 GB in Tensor Archive, il 34.318% in meno rispetto al confronto Gear CDC, con 50 file su 50 ripristinati e zero byte diversi. È un risultato di archiviazione e recupero esatto per quel carico di lavoro fisso.
Mantieni l'ambito collegato al numero. Il risultato non dice nulla sul tuo esperimento non correlato, sulle prestazioni di un ciclo di addestramento attivo o su una promessa generale di risparmio. Usa Analizza sulla famiglia completata prima di crearti un'aspettativa.
Una regola operativa pratica
Mantieni due criteri, non uno: un criterio per l'esecuzione attiva, controllato dal flusso di addestramento, e un criterio per gli artefatti completati, destinato alla conservazione locale e al recupero successivo. Questa separazione rende meno rischiosa l'eliminazione e più chiaro ciò che un archivio dimostra davvero.
Per il flusso rivolto all'utente, consulta la guida introduttiva di Tensor Archive. Per una decisione di archiviazione correlata, leggi perché l'archiviazione senza perdita di dati non è quantizzazione dei pesi, quindi scarica Tensor Archive per provare localmente una famiglia completata.
Fonti
- LoRA: Low-Rank Adaptation of Large Language Models — il metodo degli adapter alla base degli artefatti completati trattati qui.
- Riepilogo dei benchmark di Tensor Archive — carico di lavoro fisso dei checkpoint, confronto e conteggi dei ripristini byte per byte.