Архивируйте завершённые чекпойнты обучения LoRA, не оставляя восстановление на потом
Завершённый артефакт обучения — не то же самое, что активный учебный чекпойнт. Сохраняйте готовые версии, которые нужно хранить и восстанавливать, но не путайте архив хранения с механизмами, необходимыми для возобновления прерванного запуска.
Разделяйте хранение, обучение и восстановление
Термин «хранение чекпойнтов» часто охватывает сразу несколько задач: сохранение завершённой версии для вывода, ведение истории проекта, восстановление после сбоя и перенос данных между компьютерами. Эти требования не взаимозаменяемы.
Tensor Archive полезен после завершения версии, когда требуется сохранить возможность восстановления локального семейства связанных артефактов. Это не система обучения, не менеджер активных чекпойнтов и не замена файлам и процессу, которые нужны вашему стеку обучения для безопасного возобновления. Оставляйте материалы активного запуска там, где их ожидает этот стек, до настоящего завершения запуска.
Осознанно выберите завершённое семейство
Разумное семейство может включать завершённые версии LoRA из одного эксперимента, предназначенную для них базовую модель, обязательные для хранения результаты оценки и небольшие файлы проекта, делающие выпуск понятным. Не следует автоматически включать в него каждый эксперимент на диске.
Перед архивированием задайте понятное имя, отражающее проект, предполагаемую базовую модель и границу версии. Это не формальность: ясное семейство проще правильно восстановить, когда исходный контекст обучения забудется.
Архивируйте после контроля завершения
- Завершите запуск и сохраняйте активные учебные материалы, необходимые вашему процессу обучения.
- Выберите завершённые артефакты, которые следует хранить вместе для извлечения или развёртывания.
- Запустите Analyse source в Tensor Archive и проверьте, что будет включено.
- Заархивируйте семейство как управляемую локальную копию, затем запустите Verify.
- Восстановите в отдельную папку и протестируйте полученную версию в целевом процессе вывода или оценки.
- Только после такого подтверждения вручную освобождайте место от лишней рабочей копии.
Точное восстановление имеет узкое значение. Оно подтверждает, что архивные файлы можно восстановить без изменений. Оно не утверждает, что восстановленная модель — лучший чекпойнт, что она обладает ожидаемым качеством оценки или что с неё можно возобновить активный запуск.
Что показывает опубликованный результат для чекпойнтов
В контролируемой последовательной проверке чекпойнтов BF16 Tensor Archive пять полных версий общим исходным объёмом 4.060 GB заняли в Tensor Archive 1.846 GB — на 34.318% меньше, чем при сравнении с Gear CDC; все 50 из 50 файлов были восстановлены без единого отличающегося байта. Это результат хранения и точного восстановления для данной фиксированной рабочей нагрузки.
Сохраняйте область применимости вместе с числом. Результат ничего не говорит о вашем несвязанном эксперименте, производительности активного цикла обучения или всеобщей гарантии экономии. Перед формированием ожиданий примените Analyse к своему завершённому семейству.
Практическое правило работы
Используйте две политики, а не одну: политикой активного запуска управляет процесс обучения, а политика завершённых артефактов отвечает за локальное сохранение и последующее извлечение. Такое разделение снижает риск удаления и яснее показывает, что именно подтверждает архив.
Пользовательский процесс описан в кратком руководстве Tensor Archive. По связанному решению о хранении прочтите, почему хранение без потерь не является квантованием весов, а затем скачайте Tensor Archive, чтобы локально проверить завершённое семейство.
Источники
- LoRA: Low-Rank Adaptation of Large Language Models — метод адаптеров, лежащий в основе обсуждаемых завершённых артефактов.
- Сводка теста Tensor Archive — фиксированная рабочая нагрузка чекпойнтов, сравнение и число побайтово точных восстановлений.