LoRA и QLoRA: что меняется, а что остаётся?
LoRA и QLoRA — связанные подходы дообучения, но отвечают разным ограничениям ресурсов. LoRA обучает небольшие обновления адаптеров рядом с базовой моделью; QLoRA объединяет этот подход с квантованной базой во время дообучения для снижения нагрузки на память.
Что LoRA означает на практике
Low-Rank Adaptation (LoRA) добавляет обучаемые низкоранговые обновления вместо изменения каждого параметра базовой модели. Полученный адаптер обычно намного меньше полностью дообученной модели, но имеет смысл только в связи с ожидаемой базовой моделью, архитектурой и процессом загрузки.
Для хранения эта связь — главный факт. Имя файла «style-v7» не подскажет в будущем ожидаемую базу, создавший его проект или завершённую версию для хранения. Рассматривайте адаптер и контекст восстановления как осознанное семейство.
Что добавляет QLoRA
QLoRA использует квантованную базовую модель при дообучении адаптеров LoRA. Главная цель — сделать дообучение больших моделей эффективнее по памяти. Это не означает взаимозаменяемости всех артефактов запуска с неквантованной установкой и не устраняет необходимость записать базу, конфигурацию и завершённый результат для хранения.
Не используйте «QLoRA» как метку хранения. Это метод дообучения и ограничения вокруг базовой модели, а не обещание уменьшения каждого результирующего файла архивом и не замена проверке точного восстановления.
Что сохранять после завершённого запуска?
Сохраняйте достаточно контекста для однозначной идентификации завершённого артефакта: выпущенный адаптер, идентификатор или ревизию предполагаемой базовой модели, необходимые проекту конфигурацию и материалы оценки и ясное имя проекта и версии. Отдельно храните материалы управления запуском, если стек обучения требует их для возобновления.
После завершения версии локальный архив помогает сохранить связанные файлы как одно семейство и позже точно их восстановить. Не архивируйте активный запуск ради быстрого освобождения места; завершите запуск, сохраните нужное ему и затем примените процесс хранения к готовому набору артефактов.
Где применим Tensor Archive
Tensor Archive — локальный инструмент хранения и восстановления, а не фреймворк дообучения. После границы завершения можно проанализировать связанное семейство, заархивировать его, проверить возможность восстановления и восстановить отдельную копию до ручного удаления лишнего источника. Это особенно полезно при совместном хранении базы и завершённых адаптеров или тесно связанных выпусков.
Практическое правило
Если сам метод незнаком, начните с материала о том, что LoRA означает в AI. Термины LoRA или QLoRA описывают способ создания артефакта; затем материал чекпойнт и LoRA поможет определить зависимости готовых файлов. Последовательность хранения приведена в руководстве по архивированию завершённых чекпойнтов.