Was ist LoRA in AI?

LoRA steht für Low-Rank Adaptation. Es ist eine parametereffiziente Feinabstimmungsmethode, bei der die ursprünglichen Gewichte eines vortrainierten Modells eingefroren bleiben und wesentlich kleinere niederrangige Matrizen für ausgewählte Schichten gelernt werden. Diese gelernten Aktualisierungen können als Adapter gespeichert und später auf das kompatible Basismodell angewendet werden.

Die Grundidee ohne algebraischen Nebel

Bei einer herkömmlichen vollständigen Feinabstimmung können viele oder alle Parameter eines Modells aktualisiert werden. LoRA geht davon aus, dass sich die für eine bestimmte Aufgabe nützliche Änderung häufig mit wesentlich weniger Freiheitsgraden darstellen lässt. Statt eine vollständige Aktualisierungsmatrix zu lernen, drückt es die Aktualisierung als Produkt zweier schmalerer Matrizen mit dem Rang r aus.

Das wirksame Gewicht kombiniert das eingefrorene Basisgewicht mit einer skalierten niederrangigen Aktualisierung:

W′ = W + (B × A) · scale

Ist der gewählte Rang wesentlich kleiner als die ursprünglichen Dimensionen, enthalten die Matrizen A und B viel weniger trainierbare Parameter als eine vollständige Aktualisierung. Das verringert den Trainingsspeicher und erzeugt ein kompaktes Adapterartefakt. Den Großteil der Arbeit leistet weiterhin das Basismodell.

LoRA-Modell, LoRA-Adapter und LoRA-Gewichte

Diese Begriffe werden oft unscharf verwendet; daher ist eine Unterscheidung hilfreich:

• LoRA-Methode: die bei der Feinabstimmung eingesetzte Technik der niederrangigen Anpassung.
• LoRA-Adapter: die gelernte Aktualisierung samt der Konfiguration, die zur Anwendung auf ein kompatibles Basismodell erforderlich ist.
• LoRA-Gewichte: die trainierbaren Tensorwerte in diesem Adapter.
• „LoRA-Modell“: eine verbreitete Kurzform entweder für den Adapter oder für die Kombination aus Basismodell und Adapter. Der Ausdruck ist mehrdeutig; fragen Sie, welches Artefakt tatsächlich vorhanden ist.

Eine heruntergeladene LoRA-Datei enthält im Allgemeinen nicht das vollständige Basismodell. Deshalb fordert eine Benutzeroberfläche Sie auf, einen Checkpoint auszuwählen und anschließend eine oder mehrere LoRAs anzuwenden.

Was kann eine LoRA lernen?

Bei Sprachmodellen kann ein Adapter das Verhalten auf eine Domäne, Aufgabe oder einen Anweisungsstil spezialisieren. Bei Diffusionsmodellen werden LoRAs häufig für visuelle Stile, Figuren, Motive, Produkte, Konzepte oder kleinere Verhaltensanpassungen eingesetzt. Zielmodule, Rang, Datensatz und Trainingsverfahren bestimmen, was der Adapter ausdrücken kann.

LoRA garantiert weder Qualität noch Wiedergabetreue. Ein kompakter Adapter kann überangepasst sein, mit seinem Basismodell in Konflikt geraten, bei verschiedenen Stärken unvorhersehbar reagieren oder von Trigger-Tokens und Vorverarbeitungsentscheidungen abhängen. Behandeln Sie Modellkarte und Trainingskontext als betriebliche Metadaten, nicht als Dekoration.

Verwendung eines Adapters bei der Inferenz

Ein kompatibles Framework lädt das Basismodell, liest die Adapterkonfiguration und wendet dessen Tensoren auf die Zielmodule an. Manche Laufzeitumgebungen halten die Aktualisierung getrennt, sodass sie aktiviert, gewichtet oder entladen werden kann. Andere können die Aktualisierung für die Bereitstellung in eine abgeleitete Kopie integrieren.

Die Integration ist nicht damit gleichzusetzen, dass der ursprüngliche Adapter eigenständig wird. Wenn Sie die Stärke anpassen, Adapter kombinieren oder die Ausgabedatei reproduzieren möchten, bewahren Sie den nicht integrierten Adapter, das exakte Basismodell und das Rezept auf. Der Leitfaden zu Checkpoint und LoRA ordnet diese Unterschiede bei der Wiederherstellung ein.

LoRA, QLoRA und vollständige Feinabstimmung

LoRA bezeichnet die niederrangige Aktualisierung. QLoRA kombiniert LoRA-Training mit einem quantisierten eingefrorenen Basismodell und zusätzlichen speichersparenden Techniken. Das Endprodukt kann dennoch ein Adapter sein, weshalb der Dateiname allein möglicherweise nicht erkennen lässt, wie er trainiert wurde. Den Vergleich der Methoden finden Sie unter LoRA im Vergleich zu QLoRA.

Eine vollständige Feinabstimmung aktualisiert einen wesentlich größeren Teil des Modells und kann andere Kapazitäts- und Betriebszielkonflikte bieten, erzeugt jedoch einen größeren Zustand und höhere Ressourcenanforderungen. Die richtige Wahl hängt von Aufgabe, Hardware, Evaluierung und Bereitstellung ab — nicht von der Annahme, eine Methode sei stets „professioneller“.

Warum LoRA-Bibliotheken trotzdem groß werden

Ein Adapter ist im Verhältnis zu seinem Basismodell kompakt, doch Sammlungen wachsen durch Varianten, Ränge, Epochen, Stärken, doppelte Downloads und mehrere kompatible Basismodellfamilien. Basis-Checkpoints, VAEs, Encoder, Vorschaubilder und Trainingsausgaben sind häufig wesentlich größer als ein einzelner Adapter. Ein Ordner voller kleiner Dateien kann daher von einem viel größeren Modellbestand abhängen.

Verwenden Sie den Leitfaden, um ein Basismodell mit vielen Adaptern zu organisieren, und den praktischen Ablauf, um LoRA-Speicherplatz freizugeben, ohne Gewichte zu verändern. Ziel ist eine zusammengehörige Familie, die Sie wiederherstellen können — nicht um jeden Preis das kleinstmögliche Verzeichnis.

Was sollte zusammen mit einer LoRA archiviert werden?

Bewahren Sie mindestens die Adaptergewichte, ihre Konfiguration und eine genaue Basismodellkennung auf. Ist das Basismodell privat, lokal verändert oder vom Verschwinden bedroht, bewahren Sie auch dieses exakte Basismodell auf. Für Reproduzierbarkeit sollten relevante Trigger-Tokens, Trainingskonfiguration, Datensatzreferenz, Lizenz oder Nutzungsbedingungen und Prüfsummen erhalten bleiben.

Tensor Archive bewahrt ausgewählte lokale Tensorfamilien auf und prüft die exakte Wiederherstellung. Es erstellt kein fehlendes Basismodell neu, erfindet keine Adaptermetadaten und weist nicht nach, dass zwei ähnlich benannte Architekturen kompatibel sind.