¿Qué es LoRA en AI?

LoRA significa Low-Rank Adaptation. Es un método de ajuste fino eficiente en parámetros que mantiene congelados los pesos originales de un modelo preentrenado y aprende matrices de bajo rango mucho más pequeñas para capas seleccionadas. Esas actualizaciones aprendidas pueden guardarse como adaptador y aplicarse posteriormente al modelo base compatible.

La idea fundamental, sin la niebla del álgebra

Un ajuste fino completo convencional puede actualizar muchos o todos los parámetros de un modelo. LoRA presupone que el cambio útil para una tarea concreta suele poder representarse con muchos menos grados de libertad. En lugar de aprender una matriz de actualización completa, expresa la actualización como el producto de dos matrices más estrechas con rango r.

El peso efectivo combina el peso congelado del modelo base con una actualización de bajo rango escalada:

W′ = W + (B × A) · scale

Si el rango elegido es mucho menor que las dimensiones originales, las matrices A y B contienen muchos menos parámetros entrenables que una actualización completa. Esto reduce la memoria de entrenamiento y produce un artefacto de adaptador compacto. El modelo base sigue realizando la mayor parte del trabajo.

Modelo LoRA, adaptador LoRA y pesos LoRA

Estos términos se utilizan con poca precisión, por lo que conviene distinguirlos:

• Método LoRA: la técnica de adaptación de bajo rango utilizada durante el ajuste fino.
• Adaptador LoRA: la actualización aprendida y la configuración necesaria para aplicarla a un modelo base compatible.
• Pesos LoRA: los valores tensoriales entrenables de ese adaptador.
• «Modelo LoRA»: forma abreviada habitual para referirse al adaptador o a la combinación del modelo base y el adaptador. Es ambiguo; pregunta qué artefacto está realmente presente.

Un archivo LoRA descargado generalmente no contiene el modelo base completo. Por eso, una interfaz te pide que selecciones un checkpoint y después apliques una o varias LoRAs.

¿Qué puede aprender una LoRA?

En los modelos de lenguaje, un adaptador puede especializar el comportamiento para un dominio, tarea o estilo de instrucciones. En los modelos de difusión, las LoRAs suelen utilizarse para estilos visuales, personajes, sujetos, productos, conceptos o ajustes de comportamiento más pequeños. Los módulos de destino, el rango, el conjunto de datos y el procedimiento de entrenamiento determinan qué puede expresar el adaptador.

LoRA no garantiza la calidad ni la fidelidad. Un adaptador compacto puede sobreajustarse, entrar en conflicto con su modelo base, responder de forma imprevisible con distintas intensidades o depender de tokens de activación y opciones de preprocesamiento. Trata la ficha del modelo y el contexto de entrenamiento como metadatos operativos, no como decoración.

Cómo se utiliza un adaptador durante la inferencia

Un framework compatible carga el modelo base, lee la configuración del adaptador y aplica sus tensores a los módulos de destino. Algunos entornos de ejecución mantienen la actualización separada para poder activarla, ponderarla o retirarla de memoria. Otros pueden fusionarla en una copia derivada para su despliegue.

Fusionar no equivale a convertir el adaptador original en autónomo. Si quieres ajustar la intensidad, combinar adaptadores o reproducir el archivo de salida, conserva el adaptador sin fusionar, el modelo base exacto y la receta. La guía de checkpoint frente a LoRA describe esas diferencias de recuperación.

LoRA, QLoRA y ajuste fino completo

LoRA describe la actualización de bajo rango. QLoRA combina el entrenamiento de LoRA con un modelo base congelado y cuantizado, además de otras técnicas para ahorrar memoria. El resultado final puede seguir siendo un adaptador, por lo que el nombre de archivo por sí solo puede no revelar cómo se entrenó. Consulta LoRA frente a QLoRA para ver la comparación entre métodos.

El ajuste fino completo actualiza una parte mucho mayor del modelo y puede ofrecer otras capacidades y contrapartidas operativas, pero produce un estado más grande y exige más recursos. La elección correcta depende de la tarea, el hardware, la evaluación y el despliegue, no de suponer que un método es siempre más «profesional».

Por qué las bibliotecas de LoRA siguen creciendo

Un adaptador es compacto respecto de su modelo base, pero las colecciones crecen con variantes, rangos, épocas, intensidades, descargas duplicadas y varias familias base compatibles. Los checkpoints base, VAEs, codificadores, vistas previas y salidas de entrenamiento suelen empequeñecer a cualquier adaptador individual. Por tanto, una carpeta llena de archivos pequeños puede depender de un conjunto de modelos mucho mayor.

Utiliza la guía para organizar un modelo base con muchos adaptadores y el flujo práctico para liberar espacio en disco de LoRA sin cambiar los pesos. El objetivo es una familia coherente que puedas recuperar, no el directorio más pequeño posible a cualquier precio.

¿Qué debe archivarse con una LoRA?

Como mínimo, conserva los pesos del adaptador, su configuración y un identificador preciso del modelo base. Si el modelo base es privado, se ha modificado localmente o es probable que desaparezca, conserva también ese modelo base exacto. Para garantizar la reproducibilidad, guarda los tokens de activación relevantes, la configuración de entrenamiento, la referencia del conjunto de datos, la licencia o los términos de uso y las sumas de comprobación.

Tensor Archive conserva familias seleccionadas de tensores locales y verifica su restauración exacta. No recrea un modelo base que falte, no inventa metadatos del adaptador ni demuestra que dos arquitecturas con nombres parecidos sean compatibles.