Как безопасно очистить кеш Hugging Face

Используйте актуальные команды hf cache, чтобы проверить кеш до удаления. Удаляйте известный репозиторий или ревизию с помощью hf cache rm; для ревизий, на которые больше нет ссылок, используйте hf cache prune. Не воспринимайте каталог кеша как набор независимых файлов: снимки могут совместно использовать одни и те же блобы.

Почему ручное удаление обманчиво рискованно

Кеш Hub устроен так, чтобы не загружать одинаковое содержимое дважды. В кеше hub репозиторий обычно содержит refs, snapshots и blobs. Снимок представляет ревизию как пригодный для использования каталог, тогда как его файлы могут ссылаться на общее содержимое в blobs. Поэтому две ревизии могут выглядеть так, будто обе содержат один и тот же большой файл весов, но не занимать место двух полных копий.

Такая структура эффективна, но правило «удалить самую большую на вид папку» здесь не подходит. Ручное удаление используемого блоба может повредить несколько снимков. Удаление одного снимка может освободить гораздо меньше его видимого размера, поскольку другие ревизии по-прежнему ссылаются на то же содержимое.

Измерьте кеш, который действительно используется

Сначала найдите активный каталог кеша Hugging Face. Переменные HF_HOME, HF_HUB_CACHE и связанные с ними могли перенести его из стандартного расположения. Затем запросите у CLI его представление кеша:

hf cache ls
hf cache ls --revisions

Первая команда выводит кешированные репозитории, вторая — отдельные ревизии. Если список велик, используйте фильтры или сортировку из актуальной версии CLI. Нужно решить не просто, что устарело, а какой именно репозиторий или ревизию можно загрузить снова и что необходимо для текущей работы.

Осознанное удаление репозитория или ревизии

Если вы уверены, что весь кешированный репозиторий можно удалить, передайте его идентификатор кеша команде hf cache rm. В актуальной документации используется такой идентификатор репозитория, как:

hf cache rm model/gpt2

Для более точечной очистки выберите конкретный идентификатор ревизии, указанный hf cache ls --revisions. Внимательно изучите предварительный просмотр и подтверждение. CLI способен вычислить, что перестанет быть связанным; выбор в файловой системе не объяснит вам эти связи.

Удаляйте отсоединённые ревизии, а не рабочий набор

hf cache prune нацелен на ревизии, на которые больше нет ссылок. Этот инструмент подходит для устаревших данных ревизий, оставшихся после изменения ссылок ветвей или тегов, но он не гарантирует исчезновение каждой старой модели, о которой вы уже не помните. Запускайте его после проверки предлагаемого удаления, а не автоматически в конце каждого сеанса.

hf cache prune

Если кеш обслуживает нескольких пользователей, контейнеры или задания по расписанию, сначала остановите активные загрузки. Очистка во время материализации снимка другим процессом создаёт ненужную неопределённость, даже если реализация кеша рассчитана на восстановление.

Проверьте, что осталось

1. Снова запустите hf cache ls и запишите новый размер.
2. Используйте hf cache verify <repo> для важного сохраняемого репозитория.
3. Запустите один реальный рабочий процесс, загружающий сохранённую модель.
4. Следите за новой загрузкой: модель, незаметно скачанная повторно, не была полностью доступна локально.

Повторная загрузка не всегда означает неудачу — кеш для того и служит, — но это важно при автономной работе, закреплении конкретной ревизии или зависимости от внешнего файла, который может исчезнуть.

Очистка кеша и долгосрочное хранение решают разные задачи

Кеш Hub оптимизирован для повторного использования и повторной загрузки. Это не упорядоченная запись о том, почему модель, токенизатор, конфигурация и адаптер должны использоваться вместе. Перед очисткой трудновоспроизводимой ревизии определите полное семейство, необходимое для её использования. Для адаптера PEFT оно может включать совместимую базовую модель и конфигурацию; результат обучения может содержать не только веса.

Tensor Archive относится к осознанной стороне этого подхода. Сохраните завершённое локальное семейство, проверьте архив и подтвердите точное восстановление. После этого кеш снова станет расходной инфраструктурой, а не случайным музеем.

Связанные руководства

Если текущий кеш просто находится не на том диске, воспользуйтесь отдельным руководством о том, как изменить каталог кеша Hugging Face. Если библиотека охватывает несколько сред выполнения, перед решением о том, какие данные кеша можно восстановить, используйте контрольный список хранения.