Slik tømmer du Hugging Face-hurtigbufferen trygt

Bruk de gjeldende hf cache-kommandoene til å undersøke hurtigbufferen før du sletter noe. Fjern et kjent repository eller en kjent revisjon med hf cache rm. Bruk hf cache prune for revisjoner det ikke lenger finnes referanser til. Ikke behandle hurtigbuffermappen som en haug med uavhengige filer — snapshots kan dele de samme blobs.

Hvorfor manuell sletting er villedende risikabelt

Hub-hurtigbufferen er laget for å unngå å laste ned identisk innhold to ganger. Under hub-hurtigbufferen har et repository vanligvis refs, snapshots og blobs. Et snapshot presenterer en revisjon som en anvendelig mappe, mens filene kan lenke tilbake til delt innhold i blobs. To revisjoner kan derfor se ut til å inneholde den samme store vektfilen uten å bruke to fullstendige kopier.

Denne utformingen er effektiv, men gjør «slett mappen som ser størst ut» til en dårlig regel. Manuell fjerning av en aktiv blob kan ødelegge flere snapshots. Fjerning av ett snapshot kan frigjøre langt mindre plass enn den tilsynelatende størrelsen fordi andre revisjoner fortsatt refererer til det samme innholdet.

Mål hurtigbufferen du faktisk bruker

Finn først den aktive mappen for Hugging Face-hurtigbufferen. HF_HOME, HF_HUB_CACHE og beslektede variabler kan ha flyttet den fra standardplasseringen. Be deretter CLI-et om dets visning av hurtigbufferen:

hf cache ls
hf cache ls --revisions

Den første kommandoen viser hurtigbufrede repositories. Den andre viser de enkelte revisjonene. Bruk filtre eller sortering fra det gjeldende CLI-et når listen er lang. Beslutningen handler ikke bare om «hva er gammelt?», men «hvilket nøyaktig repository eller hvilken revisjon kan hentes på nytt, og hvilken støtter pågående arbeid?»

Fjern et repository eller en revisjon med omtanke

Når du vet at et helt hurtigbufret repository kan fjernes, sender du hurtigbufferidentifikatoren til hf cache rm. Den gjeldende dokumentasjonen bruker en repository-identifikator som denne:

hf cache rm model/gpt2

For mer avgrenset opprydding velger du den bestemte revisjonsidentifikatoren som hf cache ls --revisions rapporterer. Les forhåndsvisningen og bekreftelsen nøye. CLI-et kan beregne hva det ikke lenger finnes referanser til. Et utvalg i filsystemet kan ikke forklare disse forholdene for deg.

Beskjær frakoblede revisjoner, ikke arbeidssettet ditt

hf cache prune retter seg mot revisjoner det ikke lenger finnes referanser til. Det er riktig verktøy for gamle revisjonsdata som blir liggende når gren- eller taggreferanser endres, men er ikke et løfte om at hver gammel modell du ikke lenger husker, forsvinner. Kjør det etter at du har undersøkt den foreslåtte fjerningen, ikke som en automatisk refleks etter hver økt.

hf cache prune

Hvis hurtigbufferen administreres av flere brukere, containere eller planlagte jobber, må aktive nedlastinger stoppes først. Opprydding mens en annen prosess materialiserer et snapshot, skaper unødvendig tvetydighet selv når hurtigbufferimplementasjonen er utformet for å kunne gjenopprettes.

Kontroller hva som er igjen

1. Kjør hf cache ls på nytt, og registrer den nye størrelsen.
2. Bruk hf cache verify <repo> for et repository du har beholdt og er opptatt av.
3. Start en reell arbeidsflyt som laster en modell du har beholdt.
4. Se etter en ny nedlasting: En modell som ubemerket hentes på nytt, var ikke fullt tilgjengelig lokalt.

En ny nedlasting er ikke alltid et problem — en hurtigbuffer er en hurtigbuffer — men det er viktig når du jobber frakoblet, fester en bestemt revisjon eller er avhengig av en oppstrømsfil som kan forsvinne.

Opprydding i hurtigbuffer og langsiktig oppbevaring løser forskjellige problemer

Hub-hurtigbufferen er optimalisert for gjenbruk og ny nedlasting. Den er ikke en kuratert oppføring over hvorfor en modell, tokenizer, konfigurasjon eller adapter hører sammen. Før du tømmer en revisjon som er vanskelig å gjenskape, må du identifisere hele familien som trengs for å bruke den. For en PEFT-adapter kan det omfatte et kompatibelt basismodel og en konfigurasjon. For et treningsresultat kan det være mer enn vektene alene.

Tensor Archive hører hjemme på den veloverveide siden av grensen. Behold en fullført lokal familie, verifiser arkivet og bevis en nøyaktig gjenoppretting. Deretter kan hurtigbufferen igjen være utskiftbar infrastruktur i stedet for et utilsiktet museum.

Beslektede veiledninger

Hvis den gjeldende hurtigbufferen bare ligger på feil disk, følger du den separate veiledningen for å endre mappe for Hugging Face-hurtigbufferen. Hvis biblioteket omfatter flere runtimer, bruker du sjekklisten for oppbevaring før du avgjør hva som bare er erstattbar hurtigbuffertilstand.