Hur du rensar Hugging Face-cachen säkert

Använd de nuvarande hf cache-kommandona för att undersöka cache innan du raderar något. Ta bort en känd biblioteksuppsättning eller version med hf cache rm; använd hf cache prune för versioner som inte längre refereras till. Behandla inte cache-katalogen som en hög med oberoende filer – skärmbilder kan dela samma blobbar.

Varför manuell borttagning är missvisande farlig

Hub-cachen är utformad för att undvika att samma innehåll laddas ned två gånger. Under cachen hub har ett arkiv normalt refs, snapshots och blobs. En ögonblicksbild visar en revision som en användbar katalog, medan filerna kan länka tillbaka till delat innehåll i blobs. Två revisioner kan därför se ut att innehålla samma stora viktfil utan att ta upp två fullständiga kopior.

Detta layout är effektivt, men gör att "ta bort den största mappen som ser ut" till en dålig regel. Att ta bort en levande blob manuellt kan skada mer än en ögonblicksbild. Att ta bort en ögonblicksbild kan frigöra mycket mindre utrymme än dess synliga storlek eftersom andra versioner fortfarande hänvisar till samma innehåll.

Mät den cache som du faktiskt använder.

Först hitta den aktiva Hugging Face-cache-katalogen. HF_HOME, HF_HUB_CACHE och relaterade variabler kan ha flyttat den från standardplatsen. Då frågar man CLI:s syn på cache:

hf cache ls
hf cache ls --revisions

Kommandot listar de cachade biblioteken; det andra visar enskilda versioner. Använd filter eller sortering från den aktuella CLI:n när listan är stor. Det beslut du behöver fattar inte bara "vad är gammalt?" utan "vilket exakt bibliotek eller version kan hämtas igen, och vilken som stöder nuvarande arbete?"

Ta bort en lagringsplats eller en version avsiktligt

När du vet att en hel cachad databas är tillfällig, skicka dess cachningsidentifierare till hf cache rm. Dokumentationen använder för närvarande en databasidentifierare som till exempel:

hf cache rm model/gpt2

För en mer avgränsad rensning, välj den specifika revisionsidentifieraren som rapporterades av hf cache ls --revisions. Läs förhandsgranskningen och bekräftelsen noggrant. CLI:n kan beräkna vad som blir oanvänd; ett filsystemval kan inte förklara dessa relationer för dig.

Prune oanvända revisioner, inte din arbetsmängd

hf cache prune syftar på revisioner som inte längre refereras till. Det är det rätta verktyget för att rensa åldrad revisionsdata som lämnas kvar när gren- eller tag-referenser ändras, men det garanterar inte att alla gamla modeller du inte längre minns försvinner. Kör det efter att du har tittat på de föreslagna borttagnena, inte som en automatisk reflex i slutet av varje session.

hf cache prune

Om cachen hanteras av flera användare, containrar eller schemalagda jobb, bör du först stoppa aktiva nedladdningar. En rensning som utförs samtidigt som en annan process materialiserar en ögonblicksbild orsakar onödig otydlighet även när cachen är utformad för att kunna återställa sig.

Verifiera vad som återstår

1. Kör hf cache ls igen och spara den nya storleken.
2. Använd hf cache verify <repo> för en kvarstående databas som du bryr dig om.
3. Starta ett verkligt arbetsflöde som läser in en kvarvarande modell.
4. Lägg märke till en ny nedladdning – en modell som hämtade ner sig själv igen var inte helt tillgänglig lokalt.

En omnämnning är inte alltid ett fel – det är ju en cache – men det spelar roll när du arbetar offline, fastnar till en viss version eller råkar på en upphöjd fil som kan försvinna.

Cache-tömning och långtidsarkivering löser olika problem

Hubens cache är optimerad för återanvändning och omhämtning. Det är inte en kurerad uppsättning av varför en modell, tokenisering, konfiguration eller anpassning hörde ihop. Innan du rensar en svår att återupptäcka version, identifiera den fulla familj som behövs för att använda den. För en PEFT-anpassning kan det innebära en kompatibel basmodell och konfiguration; för ett träningsresultat kan det innehålla mer än bara vikterna.

Tensor Archive hör till den sidan av linjen som är avsiktlig. Behåll en färdig lokal familj, verifiera arkivet och bevisa en exakt återställning. Då kan cache:n återgå till att vara tillfällig infrastruktur istället för en oavsiktlig museiinnehåll.

Relaterade guider

Om den aktuella cachen är helt enkelt på fel disk följ den separat guidad till ändra Hugging Face-cachemapp. Om biblioteket sträcker sig över flera körningstider, använd återhållningschecklista innan du beslutar vad som endast är ersättningsbar cache-tillstånd.