Hugging Face -välimuistin turvallinen tyhjentäminen

Tarkista välimuisti nykyisillä hf cache-komennoilla ennen minkään poistamista. Poista tunnettu repository tai revisio komennolla hf cache rm; käytä komentoa hf cache prune revisioihin, joihin ei enää viitata. Älä käsittele välimuistihakemistoa itsenäisten tiedostojen kasana — snapshots voivat jakaa samat blobs-tiedostot.

Miksi poistaminen käsin on petollisen riskialtista

Hub-välimuisti on suunniteltu välttämään saman sisällön lataamista kahdesti. hub-välimuistissa repository sisältää tavallisesti hakemistot refs, snapshots ja blobs. Snapshot esittää revision käyttökelpoisena hakemistona, vaikka sen tiedostot voivat viitata takaisin hakemiston blobs jaettuun sisältöön. Kaksi revisiota voi siksi näyttää sisältävän saman suuren painotiedoston viemättä kahta täyttä kopiota.

Rakenne on tehokas, mutta siksi ”poista suurimmalta näyttävä kansio” on huono sääntö. Aktiivisen blob-tiedoston poistaminen käsin voi rikkoa useamman kuin yhden snapshot-version. Yhden snapshot-version poistaminen voi vapauttaa paljon vähemmän tilaa kuin sen näennäinen koko, koska muut revisiot viittaavat yhä samaan sisältöön.

Mittaa välimuisti, jota todella käytät

Paikanna ensin aktiivinen Hugging Face -välimuistihakemisto. HF_HOME, HF_HUB_CACHE ja niihin liittyvät muuttujat ovat voineet siirtää sen pois oletussijainnista. Pyydä sitten CLI-työkalulta sen näkemys välimuistista:

hf cache ls
hf cache ls --revisions

Ensimmäinen komento luettelee välimuistissa olevat repositoriot; toinen näyttää yksittäiset revisiot. Käytä nykyisen CLI-työkalun suodattimia tai lajittelua, kun luettelo on pitkä. Ratkaistava kysymys ei ole vain ”mikä on vanhaa?” vaan ”mikä tarkka repository tai revisio voidaan hakea uudelleen ja mikä tukee nykyistä työtä?”.

Poista tietty repository tai revisio harkiten

Kun tiedät, että kokonaisen välimuistissa olevan repositoryn voi poistaa, anna sen välimuistitunniste komennolle hf cache rm. Nykyisessä dokumentaatiossa käytetään esimerkiksi tällaista repository-tunnistetta:

hf cache rm model/gpt2

Valitse suppeampaa siivousta varten tietty hf cache ls --revisions-komennon ilmoittama revisiotunniste. Lue esikatselu ja vahvistus huolellisesti. CLI osaa laskea, mikä jää ilman viittauksia; tiedostojärjestelmävalinta ei selitä näitä suhteita.

Karsi irralliset revisiot, älä työjoukkoasi

hf cache prune kohdistuu revisioihin, joihin ei enää viitata. Se on oikea työkalu haarojen tai tunnisteiden viittausten muuttuessa jäljelle jääneille vanhentuneille revisiotiedoille, mutta se ei lupaa, että kaikki vanhat mallit, joita et enää muista, katoavat. Suorita se ehdotettujen poistojen tarkistamisen jälkeen, älä automaattisena refleksinä jokaisen istunnon lopussa.

hf cache prune

Jos useat käyttäjät, kontit tai ajoitetut työt hallitsevat välimuistia, pysäytä aktiiviset lataukset ensin. Kun siivous tehdään toisen prosessin muodostaessa snapshot-versiota, syntyy turhaa epäselvyyttä, vaikka välimuistin toteutus olisi suunniteltu palautumaan.

Varmista, mitä jäi jäljelle

1. Suorita hf cache ls uudelleen ja kirjaa uusi koko.
2. Käytä komentoa hf cache verify <repo> säilytettävälle tärkeälle repositorylle.
3. Käynnistä yksi todellinen työnkulku, joka lataa säilytetyn mallin.
4. Tarkkaile uutta latausta: huomaamatta uudelleen noudettu malli ei ollut kokonaan käytettävissä paikallisesti.

Uudelleenlataus ei aina merkitse epäonnistumista — välimuisti on välimuisti — mutta sillä on merkitystä, kun työskentelet ilman verkkoyhteyttä, kiinnität tietyn revision tai tarvitset upstream-tiedoston, joka voi kadota.

Välimuistin siivous ja pitkäaikainen säilytys ratkaisevat eri ongelmia

Hub-välimuisti on optimoitu uudelleenkäyttöä ja uudelleenlatausta varten. Se ei ole kuratoitu tietue siitä, miksi malli, tokenizer, määritys tai adapteri kuuluivat yhteen. Tunnista vaikeasti toistettavan revision koko käyttöön tarvittava perhe ennen sen tyhjentämistä. PEFT-adapteri voi tarvita yhteensopivan perusmallin ja määrityksen; koulutustulos voi sisältää muutakin kuin pelkät painot.

Tensor Archive kuuluu tälle harkitulle puolelle rajaa. Säilytä valmis paikallinen perhe, varmista arkisto ja todista täsmällinen palautus. Sen jälkeen välimuisti voi jälleen olla korvattavaa infrastruktuuria eikä vahingossa syntynyt museo.

Liittyvät oppaat

Jos nykyinen välimuisti on vain väärällä levyllä, noudata erillistä opasta Hugging Face -välimuistihakemiston vaihtamiseen. Jos kirjasto kattaa useita ajoympäristöjä, käytä säilytyksen tarkistuslistaa ennen kuin päätät, mikä on vain korvattavaa välimuistitilaa.