O que é LoRA em AI?

LoRA significa Low-Rank Adaptation. É um método de ajuste fino eficiente em parâmetros que mantém congelados os pesos originais de um modelo pré-treinado e aprende matrizes de baixo posto muito menores para camadas selecionadas. Essas atualizações aprendidas podem ser guardadas como adaptador e aplicadas mais tarde ao modelo base compatível.

A ideia central, sem nevoeiro algébrico

Um ajuste fino integral convencional pode atualizar muitos ou todos os parâmetros de um modelo. A LoRA presume que a alteração útil para uma determinada tarefa pode ser frequentemente representada com muito menos graus de liberdade. Em vez de aprender uma matriz de atualização completa, expressa a atualização como o produto de duas matrizes mais estreitas, com posto r.

O peso efetivo combina o peso base congelado com uma atualização de baixo posto escalada:

W′ = W + (B × A) · scale

Se o posto escolhido for muito menor do que as dimensões originais, as matrizes A e B contêm muito menos parâmetros treináveis do que uma atualização completa. Isso reduz a memória de treino e produz um artefacto de adaptador compacto. O modelo base continua a realizar a maior parte do trabalho.

Modelo LoRA, adaptador LoRA e pesos LoRA

As pessoas utilizam estas expressões de forma imprecisa, pelo que é útil distingui-las:

• Método LoRA: a técnica de adaptação de baixo posto utilizada durante o ajuste fino.
• Adaptador LoRA: a atualização aprendida e a configuração necessária para a aplicar a uma base compatível.
• Pesos LoRA: os valores treináveis dos tensores nesse adaptador.
• «Modelo LoRA»: forma abreviada comum para designar o adaptador ou a combinação da base com o adaptador. É ambígua; pergunte que artefacto está realmente presente.

Um ficheiro LoRA descarregado não contém geralmente todo o modelo base. É por isso que uma interface lhe pede para selecionar um checkpoint e depois aplicar uma ou mais LoRAs.

O que pode uma LoRA aprender?

Nos modelos de linguagem, um adaptador pode especializar o comportamento para um domínio, tarefa ou estilo de instruções. Nos modelos de difusão, as LoRAs são habitualmente utilizadas para estilos visuais, personagens, temas, produtos, conceitos ou ajustes comportamentais menores. Os módulos alvo, o posto, o conjunto de dados e o processo de treino determinam o que o adaptador consegue expressar.

A LoRA não garante qualidade nem fidelidade. Um adaptador compacto pode sobreajustar-se, entrar em conflito com a sua base, responder de forma imprevisível a diferentes intensidades ou depender de tokens de ativação e opções de pré-processamento. Trate o cartão do modelo e o contexto do treino como metadados operacionais, não como decoração.

Como é utilizado um adaptador durante a inferência

Um framework compatível carrega a base, lê a configuração do adaptador e aplica os respetivos tensores aos módulos alvo. Alguns ambientes de execução mantêm a atualização separada para que possa ser ativada, ponderada ou retirada da memória. Outros podem fundir a atualização numa cópia derivada para implementação.

A fusão não equivale a tornar o adaptador original autónomo. Se pretender ajustar a intensidade, combinar adaptadores ou reproduzir o ficheiro resultante, conserve o adaptador não fundido, a base exata e a receita. O guia checkpoint vs. LoRA mapeia essas diferenças de recuperação.

LoRA, QLoRA e ajuste fino integral

A LoRA descreve a atualização de baixo posto. A QLoRA combina o treino LoRA com uma base quantizada e congelada e outras técnicas de poupança de memória. O resultado final pode continuar a ser um adaptador, pelo que o nome do ficheiro, por si só, pode não revelar como foi treinado. Consulte LoRA vs. QLoRA para a comparação entre métodos.

O ajuste fino integral atualiza uma parte muito maior do modelo e pode oferecer capacidades e contrapartidas operacionais diferentes, mas produz um estado maior e requisitos de recursos superiores. A escolha certa depende da tarefa, hardware, avaliação e implementação — não da suposição de que um método é sempre mais «profissional».

Por que as bibliotecas LoRA continuam a crescer

Um adaptador é compacto relativamente à sua base, mas as coleções crescem através de variantes, postos, épocas, intensidades, descargas duplicadas e várias famílias base compatíveis. Os checkpoints base, VAEs, codificadores, pré-visualizações e resultados de treino são frequentemente muito maiores do que qualquer adaptador individual. Uma pasta cheia de ficheiros pequenos pode, por isso, depender de um conjunto de modelos muito maior.

Utilize o guia para organizar um modelo base com muitos adaptadores e o processo prático para libertar espaço de LoRA sem alterar os pesos. O objetivo é uma família coerente que possa recuperar, não o menor diretório possível a qualquer custo.

O que deve ser arquivado com uma LoRA?

No mínimo, conserve os pesos do adaptador, a sua configuração e um identificador exato do modelo base. Se a base for privada, modificada localmente ou estiver em risco de desaparecer, conserve também essa base exata. Para assegurar a reprodutibilidade, mantenha os tokens de ativação relevantes, a configuração do treino, a referência do conjunto de dados, a licença ou os termos de utilização e as checksums.

O Tensor Archive preserva famílias locais selecionadas de tensores e verifica a restauração exata. Não recria uma base em falta, não inventa metadados de adaptadores nem demonstra que duas arquiteturas com nomes semelhantes são compatíveis.