Hugging Face önbelleği güvenle nasıl temizlenir

Herhangi bir şeyi silmeden önce önbelleği incelemek için güncel hf cache komutlarını kullanın. Bilinen bir repozitörü veya revizyonu hf cache rm ile kaldırın; artık referans edilmeyen revizyonlar için hf cache prune kullanın. Önbellek dizinini bağımsız dosya yığını olarak görmeyin — snapshotlar aynı blobları paylaşabilir.

Elle silmek neden yanıltıcı derecede risklidir

Hub önbelleği aynı içeriğin iki kez indirilmesini önlemek için tasarlanmıştır. hub önbelleği altında bir repozitörde normalde refs, snapshots ve blobs bulunur. Bir snapshot, revizyonu kullanılabilir dizin olarak sunarken dosyaları blobs içindeki paylaşılan içeriğe geri bağlanabilir. Dolayısıyla iki revizyon aynı büyük ağırlık dosyasını içeriyor gibi görünse de iki tam kopya kadar alan tüketmeyebilir.

Bu düzen verimlidir, ancak “en büyük görünen klasörü sil” kuralını kötü bir seçim yapar. Canlı bir blobu elle kaldırmak birden fazla snapshotı bozabilir. Bir snapshotı kaldırmak, diğer revizyonlar aynı içeriğe hâlâ referans verdiği için görünen boyutundan çok daha az alan açabilir.

Gerçekte kullandığınız önbelleği ölçün

Önce etkin Hugging Face önbellek dizinini bulun. HF_HOME, HF_HUB_CACHE ve ilgili değişkenler onu varsayılan konumdan taşımış olabilir. Ardından önbelleğe ilişkin görünümünü CLI'dan isteyin:

hf cache ls
hf cache ls --revisions

İlk komut önbelleğe alınmış repozitörleri listeler; ikincisi tek tek revizyonları gösterir. Liste büyük olduğunda güncel CLI'ın filtrelerini veya sıralamasını kullanın. Karar vermeniz gereken yalnızca “hangisi eski?” değil, “hangi tam repozitör veya revizyon yeniden getirilebilir ve hangisi mevcut çalışmayı destekliyor?” sorusudur.

Bir repozitörü veya revizyonu bilinçli olarak kaldırın

Önbelleğe alınmış bir repozitörün tamamının gözden çıkarılabilir olduğunu bildiğinizde önbellek tanımlayıcısını hf cache rm öğesine iletin. Güncel belgeler şöyle bir repozitör tanımlayıcısı kullanır:

hf cache rm model/gpt2

Daha dar kapsamlı temizlik için hf cache ls --revisions tarafından bildirilen belirli revizyon tanımlayıcısını seçin. Önizlemeyi ve onayı dikkatle okuyun. CLI neyin referanssız kalacağını hesaplayabilir; dosya sistemi seçimi bu ilişkileri açıklayamaz.

Çalışma kümenizi değil, bağlantısı kopmuş revizyonları temizleyin

hf cache prune artık referans edilmeyen revizyonları hedefler. Dal veya etiket referansları değiştikçe geride kalan eski revizyon verileri için doğru araçtır, ancak artık hatırlamadığınız her eski modelin yok olacağına dair bir vaat değildir. Her oturumun sonunda otomatik bir refleks olarak değil, önerilen kaldırmayı inceledikten sonra çalıştırın.

hf cache prune

Önbellek birden çok kullanıcı, konteyner veya zamanlanmış iş tarafından yönetiliyorsa önce etkin indirmeleri durdurun. Başka bir süreç snapshot oluştururken yapılan temizlik, önbellek uygulaması kurtarılacak biçimde tasarlanmış olsa bile gereksiz belirsizlik yaratır.

Kalanları doğrulayın

1. hf cache ls komutunu yeniden çalıştırın ve yeni boyutu kaydedin.
2. Önemsediğiniz, saklanan bir repozitör için hf cache verify <repo> kullanın.
3. Saklanan bir modeli yükleyen gerçek bir iş akışı başlatın.
4. Yeni bir indirmeye dikkat edin: sessizce yeniden indirilen bir model yerel olarak tam mevcut değildi.

Yeniden indirme her zaman bir arıza değildir — önbellek, önbellektir — ancak çevrimdışı çalıştığınızda, belirli bir revizyonu sabitlediğinizde veya kaybolabilecek bir kaynak dosyasına bağımlı olduğunuzda önem taşır.

Önbellek temizliği ve uzun süreli saklama farklı sorunları çözer

Hub önbelleği yeniden kullanım ve yeniden indirme için optimize edilmiştir. Bir modelin, tokenizörün, yapılandırmanın veya adaptörün neden birbirine ait olduğunun düzenlenmiş kaydı değildir. Yeniden üretilmesi zor bir revizyonu temizlemeden önce onu kullanmak için gereken eksiksiz aileyi belirleyin. PEFT adaptörü için bu, uyumlu bir temel model ve yapılandırma içerebilir; eğitim sonucu için yalnızca ağırlıklardan fazlasını içerebilir.

Tensor Archive bu çizginin bilinçli tarafında yer alır. Tamamlanmış bir yerel aileyi saklayın, arşivi doğrulayın ve birebir geri yüklemeyi kanıtlayın. Ardından önbellek, yanlışlıkla oluşturulmuş bir müze olmak yerine yeniden gözden çıkarılabilir altyapı olabilir.

İlgili kılavuzlar

Mevcut önbellek yalnızca yanlış diskteyse Hugging Face önbellek dizinini değiştirme kılavuzunu izleyin. Kitaplık birden çok çalışma ortamına yayılıyorsa neyin yalnızca yeniden edinilebilir önbellek durumu olduğuna karar vermeden önce saklama kontrol listesini kullanın.