Checkpoint im Vergleich zu LoRA: Was ist der Unterschied?

Ein Modell-Checkpoint zeichnet den Modellzustand zu einem bestimmten Zeitpunkt auf; in Communitys zur Bilderzeugung bezeichnet „Checkpoint“ oft einen ladbaren Satz vollständiger Modellgewichte. Eine LoRA speichert eine wesentlich kleinere gelernte Aktualisierung, die auf ein kompatibles Basismodell angewendet wird. Der Checkpoint kann in der Zielpipeline eigenständig funktionieren; die LoRA enthält dieses Basismodell nicht.

„Checkpoint“ hat zwei verwandte Bedeutungen

Beim Training ist ein Checkpoint ein gespeicherter Zustand, von dem aus Arbeit ausgewertet oder fortgesetzt werden kann. Er kann Modellgewichte, Optimiererzustand, Scheduler-Zustand, Zufallszahlenzustand und Trainingsmetadaten enthalten. Ein Inferenz-Checkpoint ist häufig ein schlankerer Export mit den Gewichten und der Konfiguration, die zum Laden eines Modells erforderlich sind.

In Stable Diffusion-Communitys ist „Checkpoint“ auch eine Kurzbezeichnung für eine in einer Benutzeroberfläche ausgewählte Hauptmodelldatei. Das garantiert nicht, dass jede Abhängigkeit eingebettet ist. Eine Pipeline kann weiterhin ein VAE, einen Text-Encoder, Tokenizer oder eine Konfiguration benötigen, die von der Anwendung oder einem Begleitpaket bereitgestellt wird. Definieren Sie „vollständig“ stets bezogen auf den Lader, den Sie wiederherstellen möchten.

Eine LoRA ist eine gelernte Aktualisierung, kein zweites vollständiges Modell

Low-Rank Adaptation hält die vortrainierten Gewichte unverändert und lernt eine niederrangige Aktualisierung für ausgewählte Schichten. Bei der Inferenz kann ein Framework diese Aktualisierung dynamisch auf das Basismodell anwenden oder in eine abgeleitete Kopie integrieren. Der Adapter ist klein, weil er die Aktualisierung speichert — nicht weil er heimlich jedes Basisgewicht komprimiert.

Diese Abhängigkeit ist der zentrale Unterschied zwischen Checkpoint und LoRA. Bei einer für eine Stable Diffusion-Familie trainierten Porträtstil-LoRA darf nicht angenommen werden, dass sie mit einer anderen Architektur funktioniert. Ein Sprachmodelladapter hängt ebenso vom Basismodell und den in seiner Konfiguration beschriebenen Zielmodulen ab.

Praktischer Vergleich

Wird eine LoRA durch Zusammenführen zu einem Checkpoint?

Das Integrieren oder Zusammenführen eines Adapters in ein Basismodell erzeugt abgeleitete Gewichte. Ein Werkzeug kann diese Gewichte in einer Datei speichern, die häufig als Checkpoint bezeichnet wird; diese Ausgabe ist jedoch nicht das ursprüngliche Basismodell und bewahrt nicht zwingend eine saubere, umkehrbare Trennung von Basismodell und Adapter. Gleitkommaoperationen, dtype-Konvertierung und Exportentscheidungen können das Ergebnis beeinflussen.

Bewahren Sie den nicht integrierten Adapter und das exakte Basismodell auf, wenn Sie die Stärke ändern, Adapter kombinieren oder die Zusammenführung reproduzieren möchten. Bewahren Sie auch das zusammengeführte Artefakt auf, wenn genau diese Bereitstellungsdatei betrieblich wichtig ist. Löschen Sie die Quellen nicht allein deshalb, weil eine zusammengeführte Datei einmal erfolgreich geladen wurde.

Was bei der Feinabstimmung aufzubewahren ist

Bei einem aktiven Lauf sind Zwischen-Checkpoints für die Auswertung und Wiederaufnahme nach einer Unterbrechung nützlich. Bewahren Sie nach Abschluss des Laufs die Meilensteine auf, die eine echte Frage beantworten: den ausgewählten endgültigen Adapter, einen oder mehrere vertretbare Vergleichs-Checkpoints, Konfiguration, Trainingscode oder -befehl, Datensatzreferenz und Auswertungsdatensatz. Der Leitfaden zu LoRA-Trainings-Checkpoints behandelt dies als Reproduzierbarkeitsentscheidung und nicht als pauschales „Alles behalten“.

Familien archivieren, nicht Dateinamen isoliert betrachten

Eine sinnvolle LoRA-Familie enthält genügend Kontext, um das kompatible Basismodell zu identifizieren und zu erhalten. Ist das Basismodell selten, privat oder lokal verändert, bewahren Sie es zusammen mit dem Adapter auf. Eine Checkpoint-Familie kann Begleitkomponenten enthalten, die die Laufzeitumgebung beim ersten Laden unbemerkt bereitgestellt hat.

Tensor Archive hilft, ausgewählte lokale Tensoren als zusammengehörige Familie aufzubewahren und zu prüfen. Es errät keine Kompatibilität anhand eines Dateinamens, rekonstruiert keinen fehlenden Trainingszustand und verwandelt eine LoRA nicht in ein eigenständiges Basismodell.

Mit dem vorhandenen Artefakt fortfahren

Wenn die Adaptererweiterung unklar ist, lesen Sie, was eine LoRA-Datei enthält. Wenn Sie eine Trainingsmethode auswählen, verwenden Sie LoRA im Vergleich zu QLoRA. Wenn Speicherdruck die Frage auslöst, lesen Sie, wie Sie Speicherplatz freigeben, ohne LoRA-Gewichte zu verändern.