Wat is LoRA in AI?

LoRA staat voor Low-Rank Adaptation. Het is een parameterefficiënte fine-tuningmethode die de oorspronkelijke gewichten van een voorgetraind model bevriest en veel kleinere low-rank-matrices leert voor geselecteerde lagen. Die aangeleerde updates kunnen als adapter worden opgeslagen en later op het compatibele basismodel worden toegepast.

Het kernidee, zonder algebraïsche mist

Bij een conventionele volledige fine-tune kunnen veel of alle parameters van een model worden bijgewerkt. LoRA gaat ervan uit dat de nuttige verandering voor een bepaalde taak vaak met veel minder vrijheidsgraden kan worden weergegeven. In plaats van een volledige updatematrix te leren, drukt de methode de update uit als het product van twee dunnere matrices met rank r.

Het effectieve gewicht combineert het bevroren basisgewicht met een geschaalde low-rank-update:

W′ = W + (B × A) · scale

Als de gekozen rank veel kleiner is dan de oorspronkelijke dimensies, bevatten matrices A en B veel minder trainbare parameters dan een volledige update. Dit vermindert het trainingsgeheugen en levert een compact adapterartefact op. Het basismodel verricht nog steeds het meeste werk.

LoRA-model, LoRA-adapter en LoRA-gewichten

Mensen gebruiken deze termen losjes, dus het helpt om ze te onderscheiden:

• LoRA-methode: de low-rank-aanpassingstechniek die tijdens fine-tuning wordt gebruikt.
• LoRA-adapter: de aangeleerde update plus de configuratie die nodig is om deze op een compatibele basis toe te passen.
• LoRA-gewichten: de trainbare tensorwaarden in die adapter.
• ‘LoRA-model’: gangbare verkorte aanduiding voor de adapter of voor de combinatie van basis en adapter. De term is dubbelzinnig; vraag welk artefact werkelijk aanwezig is.

Een gedownload LoRA-bestand bevat doorgaans niet het volledige basismodel. Daarom vraagt een interface je een checkpoint te selecteren en vervolgens een of meer LoRAs toe te passen.

Wat kan een LoRA leren?

In taalmodellen kan een adapter gedrag specialiseren voor een domein, taak of instructiestijl. In diffusionmodellen worden LoRAs vaak gebruikt voor visuele stijlen, personages, onderwerpen, producten, concepten of kleinere gedragsaanpassingen. De doelmodules, rank, dataset en trainingsprocedure bepalen wat de adapter kan uitdrukken.

LoRA is geen garantie voor kwaliteit of getrouwheid. Een compacte adapter kan overfitten, botsen met zijn basis, bij verschillende sterkten onvoorspelbaar reageren of afhankelijk zijn van triggertokens en preprocessingkeuzes. Behandel de modelkaart en trainingscontext als operationele metagegevens, niet als versiering.

Hoe een adapter tijdens inferentie wordt gebruikt

Een compatibel framework laadt de basis, leest de adapterconfiguratie en past de tensors toe op de doelmodules. Sommige runtimes houden de update apart, zodat deze kan worden ingeschakeld, gewogen of uit het geheugen gehaald. Andere kunnen de update samenvoegen tot een afgeleide kopie voor implementatie.

Samenvoegen is niet hetzelfde als de oorspronkelijke adapter zelfstandig maken. Wil je de sterkte aanpassen, adapters combineren of het uitvoerbestand reproduceren, bewaar dan de niet-samengevoegde adapter, de exacte basis en het recept. De gids over checkpoints tegenover LoRA brengt die herstelverschillen in kaart.

LoRA, QLoRA en volledige fine-tuning

LoRA beschrijft de low-rank-update. QLoRA combineert LoRA-training met een gekwantiseerde bevroren basis en aanvullende geheugenbesparende technieken. Het eindproduct kan nog steeds een adapter zijn, waardoor de bestandsnaam alleen mogelijk niet onthult hoe deze is getraind. Zie LoRA tegenover QLoRA voor de vergelijking op methodeniveau.

Volledige fine-tuning werkt een veel groter deel van het model bij en kan een andere capaciteit en operationele afwegingen bieden, maar levert een grotere toestand en hogere resourcevereisten op. De juiste keuze hangt af van taak, hardware, evaluatie en implementatie — niet van de veronderstelling dat één methode altijd ‘professioneler’ is.

Waarom LoRA-bibliotheken toch groot worden

Eén adapter is compact ten opzichte van zijn basis, maar verzamelingen groeien door varianten, ranks, epochs, sterkten, dubbele downloads en meerdere compatibele basismodelfamilies. De basischeckpoints, VAEs, encoders, voorvertoningen en trainingsuitvoer zijn vaak veel groter dan één adapter. Een map vol kleine bestanden kan daardoor afhankelijk zijn van een veel groter modellenbestand.

Gebruik de gids om één basismodel met veel adapters te organiseren en de praktische workflow om LoRA-schijfruimte vrij te maken zonder gewichten te wijzigen. Het doel is een samenhangende familie die je kunt herstellen, niet tegen iedere prijs de kleinst mogelijke map.

Wat moet samen met een LoRA worden gearchiveerd?

Bewaar ten minste de adaptergewichten, de configuratie en een precieze identificatie van het basismodel. Is de basis privé, lokaal gewijzigd of dreigt deze te verdwijnen, bewaar dan ook die exacte basis. Bewaar voor reproduceerbaarheid relevante triggertokens, trainingsconfiguratie, datasetreferentie, licentie of gebruiksvoorwaarden en checksums.

Tensor Archive bewaart geselecteerde lokale tensorfamilies en verifieert exact herstel. Het maakt geen ontbrekende basis opnieuw, verzint geen adaptermetagegevens en bewijst niet dat twee architecturen met vergelijkbare namen compatibel zijn.