Hugging Face-Cache sicher leeren

Verwenden Sie die aktuellen hf cache-Befehle, um den Cache vor dem Löschen zu prüfen. Entfernen Sie ein bekanntes Repository oder eine Revision mit hf cache rm; verwenden Sie hf cache prune für Revisionen, auf die nicht mehr verwiesen wird. Behandeln Sie das Cache-Verzeichnis nicht als Sammlung unabhängiger Dateien — Snapshots können dieselben Blobs gemeinsam nutzen.

Ein verzweigter Modell-Cache wird gezielt bereinigt, während referenzierte Snapshots und gemeinsam genutzte Blobs geschützt bleiben.
Eine sichere Cache-Bereinigung entfernt Referenzen gezielt und lässt den Cache-Manager erkennen, welche gemeinsam genutzten Blobs noch benötigt werden.

Warum manuelles Löschen trügerisch riskant ist

Der Hub-Cache soll verhindern, dass identische Inhalte zweimal heruntergeladen werden. Unter dem Cache hub enthält ein Repository normalerweise refs, snapshots und blobs. Ein Snapshot stellt eine Revision als nutzbares Verzeichnis dar, während seine Dateien auf gemeinsame Inhalte in blobs zurückverweisen können. Zwei Revisionen können deshalb scheinbar dieselbe große Gewichtsdatei enthalten, ohne zwei vollständige Kopien zu belegen.

Dieser Aufbau ist effizient, macht jedoch „den größten Ordner löschen“ zu einer schlechten Regel. Das manuelle Entfernen eines aktiven Blobs kann mehr als einen Snapshot beschädigen. Das Entfernen eines Snapshots gibt möglicherweise viel weniger Platz frei, als seine scheinbare Größe vermuten lässt, weil andere Revisionen weiterhin auf denselben Inhalt verweisen.

Den tatsächlich verwendeten Cache messen

Ermitteln Sie zuerst das aktive Hugging Face-Cache-Verzeichnis. HF_HOME, HF_HUB_CACHE und verwandte Variablen können es vom Standardpfad weg verschoben haben. Fragen Sie anschließend die CLI nach ihrer Sicht auf den Cache:

hf cache ls
hf cache ls --revisions

Der erste Befehl listet zwischengespeicherte Repositories auf; der zweite zeigt einzelne Revisionen. Verwenden Sie bei einer langen Liste Filter oder Sortierung der aktuellen CLI. Entscheidend ist nicht nur „Was ist alt?“, sondern „Welches konkrete Repository oder welche Revision kann erneut abgerufen werden, und welche unterstützt die aktuelle Arbeit?“

Trainingsergebnisse sind nicht automatisch Cache-Einträge. Ein von Ihrem Trainingsskript gespeicherter Checkpoint kann an anderer Stelle liegen. Prüfen Sie den Pfad, bevor Sie annehmen, eine Hugging Face-Bereinigung werde ihn betreffen oder nicht betreffen.

Repository oder Revision gezielt entfernen

Wenn Sie wissen, dass ein gesamtes zwischengespeichertes Repository entbehrlich ist, übergeben Sie seine Cache-Kennung an hf cache rm. Die aktuelle Dokumentation verwendet eine Repository-Kennung wie:

hf cache rm model/gpt2

Für eine gezieltere Bereinigung wählen Sie die von hf cache ls --revisions gemeldete konkrete Revisionskennung aus. Lesen Sie Vorschau und Bestätigung sorgfältig. Die CLI kann berechnen, was nicht mehr referenziert wird; eine Dateisystemauswahl kann Ihnen diese Beziehungen nicht erklären.

Nicht mehr verbundene Revisionen bereinigen, nicht Ihren Arbeitsbestand

hf cache prune zielt auf Revisionen, auf die nicht mehr verwiesen wird. Das ist das richtige Werkzeug für veraltete Revisionsdaten, die nach Änderungen von Branch- oder Tag-Verweisen zurückbleiben, aber keine Zusage, dass jedes alte Modell verschwindet, an das Sie sich nicht mehr erinnern. Führen Sie es nach Prüfung der vorgeschlagenen Entfernung aus, nicht reflexartig am Ende jeder Sitzung.

hf cache prune

Wird der Cache von mehreren Benutzern, Containern oder geplanten Aufgaben verwaltet, stoppen Sie zuerst aktive Downloads. Eine Bereinigung während der Materialisierung eines Snapshots schafft unnötige Unklarheit, selbst wenn die Cache-Implementierung für eine Wiederherstellung ausgelegt ist.

Verbleibenden Bestand prüfen

  1. Führen Sie hf cache ls erneut aus und dokumentieren Sie die neue Größe.
  2. Verwenden Sie hf cache verify <repo> für ein beibehaltenes Repository, das Ihnen wichtig ist.
  3. Starten Sie einen tatsächlichen Arbeitsablauf, der ein beibehaltenes Modell lädt.
  4. Achten Sie auf einen erneuten Download: Ein Modell, das unbemerkt neu abgerufen wird, war lokal nicht vollständig verfügbar.

Ein erneuter Download ist nicht immer ein Fehler — ein Cache ist schließlich ein Cache —, wird aber wichtig, wenn Sie offline arbeiten, eine bestimmte Revision festschreiben oder von einer vorgelagerten Datei abhängen, die verschwinden könnte.

Cache-Bereinigung und langfristige Aufbewahrung lösen unterschiedliche Probleme

Der Hub-Cache ist für Wiederverwendung und erneutes Abrufen optimiert. Er ist kein kuratierter Nachweis dafür, warum ein Modell, Tokenizer, eine Konfiguration oder ein Adapter zusammengehören. Bevor Sie eine schwer reproduzierbare Revision bereinigen, ermitteln Sie die vollständige Familie, die für ihre Verwendung erforderlich ist. Bei einem PEFT-Adapter kann dazu ein kompatibles Basismodell samt Konfiguration gehören; bei einem Trainingsergebnis unter Umständen mehr als nur die Gewichte.

Tensor Archive gehört auf diese bewusste Seite der Trennlinie. Bewahren Sie eine vollständige lokale Familie auf, prüfen Sie das Archiv und weisen Sie eine exakte Wiederherstellung nach. Danach kann der Cache wieder eine entbehrliche Infrastruktur statt eines zufälligen Museums sein.

Verwandte Leitfäden

Befindet sich der aktuelle Cache lediglich auf dem falschen Laufwerk, folgen Sie dem separaten Leitfaden zum Ändern des Hugging Face-Cache-Verzeichnisses. Erstreckt sich die Bibliothek über mehrere Laufzeitumgebungen, verwenden Sie die Prüfliste zur Aufbewahrung, bevor Sie entscheiden, was lediglich ersetzbarer Cache-Zustand ist.

Quellen

Seltene Versionen behalten. Cache leeren.Kostenloser Download ↓