Hvad er LoRA i AI?

LoRA står for Low-Rank Adaptation. Det er en parametereffektiv finjusteringsmetode, der holder den fortrænede models oprindelige vægte frosne og indlærer langt mindre matricer med lav rang til udvalgte lag. De indlærte opdateringer kan gemmes som en adapter og senere anvendes på den kompatible basismodel.

Kerneideen uden algebraisk tåge

En konventionel komplet finjustering kan opdatere mange eller alle parametre i en model. LoRA antager, at den nyttige ændring til en bestemt opgave ofte kan repræsenteres med langt færre frihedsgrader. I stedet for at indlære en komplet opdateringsmatrix udtrykkes opdateringen som produktet af to tyndere matricer med rang r.

Den effektive vægt kombinerer den frosne basisvægt med en skaleret opdatering med lav rang:

W′ = W + (B × A) · scale

Hvis den valgte rang er langt mindre end de oprindelige dimensioner, indeholder matricerne A og B langt færre trænbare parametre end en komplet opdatering. Det reducerer træningshukommelsen og frembringer et kompakt adapterartefakt. Basismodellen udfører stadig det meste af arbejdet.

LoRA-model, LoRA-adapter og LoRA-vægte

Disse udtryk bruges løst, så det hjælper at skelne mellem dem:

• LoRA-metode: tilpasningsteknikken med lav rang, der bruges under finjustering.
• LoRA-adapter: den indlærte opdatering samt den konfiguration, der kræves for at anvende den på en kompatibel base.
• LoRA-vægte: de trænbare tensorværdier i adapteren.
• »LoRA-model«: almindelig kortform for enten adapteren eller kombinationen af base og adapter. Udtrykket er tvetydigt; spørg, hvilket artefakt der faktisk er til stede.

En downloadet LoRA-fil indeholder normalt ikke hele basismodellen. Derfor beder en brugergrænseflade dig om at vælge et kontrolpunkt og derefter anvende én eller flere LoRAs.

Hvad kan en LoRA lære?

I sprogmodeller kan en adapter specialisere adfærden til et domæne, en opgave eller en instruktionsstil. I diffusionsmodeller bruges LoRAs ofte til visuelle stile, figurer, motiver, produkter, koncepter eller mindre adfærdsjusteringer. Målmodulerne, rangen, datasættet og træningsproceduren afgør, hvad adapteren kan udtrykke.

LoRA garanterer ikke kvalitet eller nøjagtighed. En kompakt adapter kan overtilpasse, være i konflikt med sin base, reagere uforudsigeligt ved forskellige styrker eller afhænge af triggertokens og valg i forbehandlingen. Behandl modelkortet og træningskonteksten som driftsmetadata, ikke som pynt.

Sådan bruges en adapter under inferens

Et kompatibelt framework indlæser basen, læser adapterkonfigurationen og anvender dens tensorer på målmodulerne. Nogle runtimes holder opdateringen separat, så den kan aktiveres, vægtes eller fjernes igen. Andre kan flette opdateringen ind i en afledt kopi til implementering.

Sammenfletning er ikke det samme som at gøre den oprindelige adapter selvstændig. Hvis du vil justere styrken, kombinere adaptere eller reproducere outputfilen, skal du bevare den uflettede adapter, den præcise base og opskriften. Vejledningen om kontrolpunkt kontra LoRA kortlægger disse forskelle i gendannelse.

LoRA, QLoRA og fuld finjustering

LoRA beskriver opdateringen med lav rang. QLoRA kombinerer LoRA-træning med en kvantiseret, frossen base og yderligere teknikker til at spare hukommelse. Slutproduktet kan stadig være en adapter, og derfor afslører filnavnet alene muligvis ikke, hvordan den blev trænet. Se LoRA kontra QLoRA for en sammenligning på metodeniveau.

Komplet finjustering opdaterer en langt større del af modellen og kan give en anden kapacitet og andre driftsmæssige afvejninger, men frembringer større tilstand og højere ressourcekrav. Det rette valg afhænger af opgaven, hardwaren, evalueringen og implementeringen — ikke af en antagelse om, at én metode altid er mere »professionel«.

Hvorfor LoRA-biblioteker stadig bliver store

Én adapter er kompakt i forhold til sin base, men samlinger vokser gennem varianter, rangstørrelser, epoker, styrker, gentagne downloads og flere kompatible basefamilier. Basiskontrolpunkterne, VAEs, encodere, forhåndsvisninger og træningsoutput fylder ofte langt mere end en enkelt adapter. En mappe fuld af små filer kan derfor afhænge af en langt større modelbestand.

Brug vejledningen til at organisere én basismodel med mange adaptere og den praktiske arbejdsgang til at frigøre LoRA-diskplads uden at ændre vægte. Målet er en sammenhængende familie, som du kan gendanne, ikke den mindst mulige mappe for enhver pris.

Hvad skal arkiveres med en LoRA?

Bevar som minimum adaptervægtene, dens konfiguration og en præcis identifikation af basismodellen. Hvis basen er privat, lokalt ændret eller sandsynligvis forsvinder, skal du også bevare netop denne base. Til reproducerbarhed skal du bevare relevante triggertokens, træningskonfiguration, datasætreference, licens eller brugsvilkår og kontrolsummer.

Tensor Archive bevarer udvalgte lokale tensorfamilier og verificerer en præcis gendannelse. Programmet genskaber ikke en manglende base, opfinder ikke adaptermetadata og beviser ikke, at to arkitekturer med lignende navne er kompatible.