Sådan rydder du Hugging Face-cachen sikkert

Brug de aktuelle hf cache-kommandoer til at undersøge cachen, før du sletter noget. Fjern et kendt repository eller en kendt revision med hf cache rm; brug hf cache prune til revisioner, der ikke længere refereres til. Betragt ikke cachemappen som en bunke uafhængige filer — snapshots kan dele de samme blobs.

Derfor er manuel sletning mere risikabel, end den ser ud

Hub-cachen er udviklet til at undgå at downloade identisk indhold to gange. Under cachen hub har et repository normalt refs, snapshots og blobs. Et snapshot viser en revision som en brugbar mappe, mens filerne kan pege tilbage på delt indhold i blobs. To revisioner kan derfor se ud til at indeholde den samme store vægtfil uden at optage plads til to fulde kopier.

Layoutet er effektivt, men derfor er »slet den mappe, der ser størst ud« en dårlig regel. Manuel fjernelse af en blob, der er i brug, kan ødelægge mere end ét snapshot. Fjernelse af ét snapshot kan frigøre langt mindre plads end dets tilsyneladende størrelse, fordi andre revisioner stadig refererer til det samme indhold.

Mål den cache, du faktisk bruger

Find først den aktive Hugging Face-cachemappe. HF_HOME, HF_HUB_CACHE og relaterede variabler kan have flyttet den fra standardplaceringen. Bed derefter CLI'en om dens oversigt over cachen:

hf cache ls
hf cache ls --revisions

Den første kommando viser cachelagrede repositories; den anden viser de enkelte revisioner. Brug filtrering eller sortering i den aktuelle CLI, når listen er lang. Det afgørende er ikke blot »hvad er gammelt?«, men »hvilket konkret repository eller hvilken revision kan hentes igen, og hvilken understøtter det aktuelle arbejde?«

Fjern bevidst et repository eller en revision

Når du ved, at et helt cachelagret repository kan undværes, skal du videregive dets cacheidentifikator til hf cache rm. Den aktuelle dokumentation bruger en repository-identifikator som:

hf cache rm model/gpt2

Hvis oprydningen skal være mere afgrænset, skal du vælge den konkrete revisionsidentifikator, som hf cache ls --revisions viser. Læs forhåndsvisningen og bekræftelsen omhyggeligt. CLI'en kan beregne, hvad der ikke længere refereres til; et valg i filsystemet kan ikke forklare disse relationer.

Beskær løsrevne revisioner, ikke dit arbejdssæt

hf cache prune retter sig mod revisioner, der ikke længere refereres til. Det er det rette værktøj til forældede revisionsdata, som efterlades, når branch- eller tagreferencer ændres, men det er ikke et løfte om, at alle gamle modeller, du ikke længere husker, forsvinder. Kør det efter at have gennemgået den foreslåede fjernelse, ikke automatisk efter hver session.

hf cache prune

Hvis cachen administreres af flere brugere, containere eller planlagte job, skal du først stoppe aktive downloads. Oprydning, mens en anden proces er ved at materialisere et snapshot, skaber unødig uklarhed, selv når cacheimplementeringen er designet til at kunne gendanne sig.

Kontrollér, hvad der er tilbage

1. Kør hf cache ls igen, og registrér den nye størrelse.
2. Brug hf cache verify <repo> til et repository, du vil bevare.
3. Start en reel arbejdsgang, der indlæser en bevaret model.
4. Hold øje med et nyt download: En model, der hentes igen uden varsel, var ikke fuldt tilgængelig lokalt.

Et nyt download er ikke altid en fejl — cachen er trods alt en cache — men det har betydning, hvis du arbejder offline, fastholder en bestemt revision eller er afhængig af en upstream-fil, der kan forsvinde.

Cacheoprydning og langtidsopbevaring løser forskellige problemer

Hub-cachen er optimeret til genbrug og nye downloads. Den er ikke en kurateret fortegnelse over, hvorfor en model, tokenizer, konfiguration og adapter hører sammen. Før du rydder en revision, som er svær at reproducere, skal du identificere hele den familie, der kræves for at bruge den. For en PEFT-adapter kan det omfatte en kompatibel basismodel og konfiguration; for et træningsresultat kan det omfatte mere end vægtene alene.

Tensor Archive hører til på den velovervejede side af skellet. Bevar en færdig lokal familie, verificér arkivet, og bevis en nøjagtig gendannelse. Derefter kan cachen igen være infrastruktur, der kan undværes, frem for et utilsigtet museum.

Relaterede vejledninger

Hvis den aktuelle cache blot ligger på den forkerte disk, skal du følge den særskilte guide til at ændre Hugging Face-cachemappe. Hvis biblioteket spænder over flere runtimes, skal du bruge tjeklisten til opbevaring, før du beslutter, hvad der kun er cachetilstand, som kan erstattes.