Jak bezpečně vyčistit mezipaměť Hugging Face

Než cokoli smažete, prohlédněte mezipaměť pomocí aktuálních příkazů hf cache. Známý repozitář nebo revizi odstraňte pomocí hf cache rm; pro revize, na které již nic neodkazuje, použijte hf cache prune. Nepovažujte adresář mezipaměti za hromadu nezávislých souborů – snímky mohou sdílet stejné bloby.

Skryté riziko ručního mazání

Mezipaměť Hub je navržena tak, aby se stejný obsah nestahoval dvakrát. V mezipaměti hub má repozitář obvykle refs, snapshots a blobs. Snímek představuje revizi jako použitelný adresář, zatímco jeho soubory mohou odkazovat na sdílený obsah v blobs. Dvě revize tak mohou zdánlivě obsahovat stejný velký soubor vah, aniž by zabíraly dvě plné kopie.

Toto rozvržení je úsporné, ale pravidlo „smažte největší vypadající složku“ je kvůli němu špatné. Ruční odstranění aktivního blobu může poškodit více než jeden snímek. Odstranění jednoho snímku může uvolnit mnohem méně místa, než naznačuje jeho zdánlivá velikost, protože na stejný obsah stále odkazují jiné revize.

Změřte mezipaměť, kterou skutečně používáte

Nejprve najděte aktivní adresář mezipaměti Hugging Face. Proměnné HF_HOME, HF_HUB_CACHE a související proměnné jej mohly přesunout mimo výchozí umístění. Poté požádejte CLI o jeho pohled na mezipaměť:

hf cache ls
hf cache ls --revisions

První příkaz vypíše repozitáře v mezipaměti; druhý zobrazí jednotlivé revize. Je-li seznam dlouhý, použijte filtry nebo řazení aktuálního CLI. Nemusíte rozhodnout pouze „co je staré?“, ale „který přesný repozitář nebo revizi lze znovu stáhnout a který podporuje současnou práci?“

Záměrně odstraňte repozitář nebo revizi

Když víte, že je celý repozitář v mezipaměti postradatelný, předejte jeho identifikátor mezipaměti příkazu hf cache rm. Aktuální dokumentace používá například identifikátor repozitáře:

hf cache rm model/gpt2

Při užším úklidu vyberte konkrétní identifikátor revize oznámený příkazem hf cache ls --revisions. Pečlivě si přečtěte náhled a potvrzení. CLI dokáže vypočítat, co přestane být odkazováno; výběr v souborovém systému vám tyto vztahy nevysvětlí.

Odpojené revize prořežte, pracovní sadu nikoli

Příkaz hf cache prune se zaměřuje na revize, na něž již nevede žádný odkaz. Je vhodný pro zastaralá data revizí, která zůstala po změně odkazů větví nebo značek, ale neslibuje, že zmizí každý starý model, na který si již nevzpomínáte. Spusťte jej po kontrole navrhovaného odstranění, nikoli automaticky na konci každé relace.

hf cache prune

Pokud mezipaměť spravuje více uživatelů, kontejnerů nebo plánovaných úloh, nejprve zastavte aktivní stahování. Úklid prováděný v době, kdy jiný proces vytváří snímek, působí zbytečné nejasnosti, i když je implementace mezipaměti navržena tak, aby se zotavila.

Ověřte, co zůstalo

1. Znovu spusťte hf cache ls a zaznamenejte novou velikost.
2. U uchovávaného repozitáře, na kterém vám záleží, použijte hf cache verify <repo>.
3. Spusťte jeden skutečný pracovní postup, který načte uchovaný model.
4. Sledujte nové stažení: model, který se tiše stáhne znovu, nebyl plně dostupný místně.

Opětovné stažení není vždy selháním – mezipaměť je mezipaměť. Záleží na něm však při práci offline, připnutí konkrétní revize nebo závislosti na nadřazeném souboru, který může zmizet.

Čištění mezipaměti a dlouhodobé uchovávání řeší různé problémy

Mezipaměť Hub je optimalizována pro opakované použití a nové stažení. Není kurátorovaným záznamem důvodů, proč model, tokenizer, konfigurace nebo adaptér patřily k sobě. Před vyčištěním obtížně reprodukovatelné revize identifikujte celou rodinu potřebnou k jejímu použití. U adaptéru PEFT to může zahrnovat kompatibilní základní model a konfiguraci; u výsledku trénování může jít o více než samotné váhy.

Tensor Archive patří na uvážlivou stranu této hranice. Uchovejte dokončenou místní rodinu, ověřte archiv a prokažte přesné obnovení. Mezipaměť se pak může vrátit k roli postradatelné infrastruktury místo náhodného muzea.

Související průvodci

Pokud je aktuální mezipaměť pouze na nesprávném disku, postupujte podle samostatného návodu, jak změnit adresář mezipaměti Hugging Face. Pokud knihovna zahrnuje několik běhových prostředí, použijte kontrolní seznam uchovávání, než rozhodnete, co je pouze nahraditelný stav mezipaměti.