LoRA vs. QLoRA: o que muda e o que permanece?
A LoRA e a QLoRA são métodos relacionados de ajuste fino, mas respondem a restrições de recursos diferentes. A LoRA treina pequenas atualizações de adaptadores junto de um modelo base; a QLoRA combina esse método de adaptadores com um modelo base quantizado durante o ajuste fino para reduzir a pressão sobre a memória.
O significado prático de LoRA
A Low-Rank Adaptation (LoRA) acrescenta atualizações de baixo posto treináveis em vez de alterar todos os parâmetros do modelo base. O adaptador resultante é normalmente muito menor do que um modelo com ajuste fino completo, mas só é significativo relativamente ao modelo base, arquitetura e processo de carregamento esperados.
Para a conservação, essa relação é o facto essencial. Um ficheiro chamado «style-v7» pode não dizer, no futuro, que base espera, que projeto o produziu ou que versão concluída pretendia conservar. Trate o adaptador e o contexto necessário para a recuperação como uma família deliberada.
O que a QLoRA acrescenta
A QLoRA utiliza um modelo base quantizado durante o ajuste fino, enquanto treina adaptadores LoRA. A sua finalidade central é tornar o ajuste fino de modelos grandes mais eficiente em termos de memória. Não significa que todos os artefactos produzidos pela execução sejam intercambiáveis com a configuração não quantizada, nem elimina a necessidade de registar a base, a configuração e o resultado concluído que pretende preservar.
Não utilize «QLoRA» como rótulo de armazenamento. Descreve um método de ajuste fino e as restrições relativas ao modelo base. Não promete que o arquivamento torne todos os ficheiros resultantes mais pequenos nem substitui um teste de recuperação exata.
O que deve conservar após uma execução concluída?
Conserve contexto suficiente para identificar inequivocamente o artefacto concluído: o adaptador publicado, a identidade ou revisão prevista do modelo base, a configuração e o material de avaliação exigidos pelo projeto e um nome claro de projeto/versão. Mantenha separadamente o material de gestão da execução se o seu conjunto de treino precisar dele para retomar o trabalho.
Quando uma versão estiver concluída, um arquivo local pode ajudar a preservar ficheiros relacionados como uma família e recuperá-los depois exatamente. Não arquive uma execução ativa apenas para libertar espaço rapidamente; conclua a execução, conserve aquilo de que precisa e aplique depois um processo de armazenamento ao conjunto de artefactos concluído.
Onde se enquadra o Tensor Archive
O Tensor Archive é uma ferramenta local de armazenamento e recuperação, não um framework de ajuste fino. Depois do ponto de conclusão, pode analisar uma família relacionada, arquivá-la, verificar a recuperabilidade e restaurar uma cópia separada antes de remover manualmente uma origem redundante. Isto é especialmente útil quando uma base e os respetivos adaptadores concluídos ou versões estreitamente relacionadas são conservados em conjunto.
Uma regra prática
Se não conhece o método, comece por o significado de LoRA em AI. Utilize a terminologia LoRA ou QLoRA para descrever como o artefacto foi produzido e depois consulte checkpoint vs. LoRA para identificar de que dependem os ficheiros concluídos. Para a sequência de armazenamento, leia o guia de arquivo de checkpoints concluídos.