GGUF ile SafeTensors: iş akışınıza hangi biçim aittir?
Uyumlu bir GGML çalışma zamanı model meta verileriyle tensör verilerini birlikte içeren çıkarıma hazır kapsayıcı beklediğinde GGUF seçin. Framework güvenli tensör serileştirmesi ile ayrı model yapılandırması veya tokenizer varlıkları beklediğinde SafeTensors seçin. Biçimler doğrudan kalite katmanları değildir ve aralarındaki dönüştürme tensörleri değiştirebilir.
Kısa karşılaştırma
| Soru | GGUF | SafeTensors |
|---|---|---|
| Birincil rol | GGML yürütücüleri için çıkarım odaklı model kapsayıcısı | Güvenli, hızlı tensör serileştirmesi |
| Meta veriler | Tanımlanmış anahtar-değer meta verileri dosyada bulunur | Küçük JSON meta veri başlığı; model yapılandırması genellikle yanında bulunur |
| Kuantizasyon | Kuantize ve kuantize edilmemiş tensör türlerini destekler | Desteklenen dtype tensörlerini saklayabilir; uzantı tek başına model düzeyindeki kuantizasyon reçetesi hakkında hiçbir şey söylemez |
| Tipik paketleme | Uyumlu bir çalışma zamanı için genellikle tek bir ana model dosyası | Genellikle bir veya birkaç ağırlık parçasının yanında config, tokenizer ve diğer varlıklar |
| Yürütme | Gerekli GGUF mimarisini uygulayan yazılımda kullanın | Tensörlerin modele nasıl eşlendiğini bilen bir framework üzerinden yükleyin |
Uzantı hangi modelin daha iyi olduğunu söylemez
GGUF dönüştürmesi ile SafeTensors kaynağı aynı model ailesini farklı hassasiyetlerde veya bütünüyle farklı ince ayarlarda temsil edebilir. Çıktı kalitesi, hız ve bellek kullanımı; dört harfli uzantılar arasındaki yarışa değil, gerçek tensörlere, kuantizasyona, çalışma zamanı çekirdeklerine ve donanıma bağlıdır.
Bu nedenle “GGUF ile SafeTensors kalitesi” eksik bir sorudur. Önce kaynak revizyonu, tensör gösterimi ve amaçlanan yürütücüyü karşılaştırın. Özenle seçilmiş kuantize GGUF bir makine için en iyi yerel çıkarım kopyası olabilirken, daha yüksek hassasiyetli SafeTensors checkpointi daha iyi koruma veya eğitim kaynağı olarak kalabilir.
SafeTensors'ta “güvenli” ne anlama gelir
SafeTensors, seri durumdan çıkarma sırasında keyfî kod yürütülmesini önlemek ve hızlı, sıfır kopyalı yüklemeyi desteklemek üzere tasarlanmıştır. Bu, içinde saklanan her modelin güvenilir olduğunu söylemekten daha dar bir iddiadır. Ağırlıklar yine zararlı davranış üretebilir, meta veriler yanıltıcı olabilir ve çevreleyen kod önemini korur.
GGUF da Python pickle yerine yapılandırılmış bir biçimdir. Sağlam ayrıştırıcı sınırları ve türleri doğrulamalıdır; ancak ad, güvenlik denetimi oluşturmaz. Her iki durumda da bakımı yapılan yükleyicileri kullanın ve kaynağı değerlendirin.
Dönüştürme, arşiv sıkıştırması değil dönüşümdür
SafeTensors modelini GGUF'a dönüştürme mimari eşleme ve tensör dönüştürmeyi içerebilir. Bu süreçte kuantizasyon değerleri kasıtlı olarak değiştirir. Ortaya çıkan dosya çıkarım için mükemmel olabilir; ancak özgün SafeTensors byte'larının yeniden oluşturulabileceğine dair tersine çevrilebilir bir söz içermez.
Ters yönün de benzer sınırları vardır. GGUF'tan gelen tensörleri SafeTensors içine yazmak kapsayıcıyı değiştirir ve dış yapılandırmayı, özgün parça sınırlarını, tensör adlarını veya kuantizasyon öncesi değerleri yeniden oluşturmayabilir. Bu ayrıntılar önemliyse kaynağı saklayın.
Her artefakt sınırında checksum kullanın. Kaynağı hashleyin, dönüştürme komutunu ve araç sürümünü kaydedin, sonra türetilmiş dosyayı hashleyin. Böylece hangi birebir baytların test edilip dağıtıldığını bilirsiniz.
Sonraki işleme göre seçim yapın
- llama.cpp veya uyumlu masaüstü çalışma zamanında yerel LLM çalıştırma: makineye göre boyutlandırılmış, desteklenen GGUF varyantı seçin.
- İnce ayar, framework yüklemesi veya yayımlanmış checkpointi koruma: SafeTensors paketini ve tamamlayıcı yapılandırmasını saklayın.
- Kullanışlı tek bir çıkarım artefaktını dağıtma: çalışma zamanı ve lisans uyumluluğuna tabi olarak GGUF paketi basitleştirebilir.
- Yeniden üretilebilir bir aileyi saklama: kaynağı ve reçeteyi, isteğe bağlı olarak üretimin gerçekten kullandığı birebir türetilmiş artefaktı koruyun.
Makul bir saklama politikası her ikisini de tutabilir
Bir yetkili kaynak checkpointi ile bir işletimsel GGUF'u saklamakta çelişki yoktur. Farklı kurtarma sorularını yanıtlarlar: “kaynaktan yeniden üretebilir veya çalışmaya devam edebilir miyim?” ve “bu makinenin sunduğu birebir dosyayı geri yükleyebilir miyim?” Alanı boşa harcayan, kaynağı veya nedeni olmadan her deneysel dönüştürmeyi saklamaktır.
Tensor Archive seçtiğiniz yerel artefaktları koruyabilir ve bayt düzeyinde birebir geri yüklemeyi kanıtlayabilir. Biçimleri dönüştürmez veya kuantize türevin dönüştürme sırasında atılan bilgileri içerdiğini iddia etmez.
Her biçimi kendi koşullarında okuyun
GGUF dosyasının ne içerdiği ve SafeTensors dosyasının ne içerdiği ile başlayın. Gerçek karar alanla ilgiliyse SafeTensors sıkıştırması ile kuantizasyonun neden farklı işlemler olduğunu okuyun.
Kaynaklar
- GGML: GGUF belirtimi — normatif yapı, meta veriler ve tensör türü tasarımı.
- Hugging Face Hub: GGUF — güncel ekosistem desteği ve meta veri inceleme.
- SafeTensors belgeleri — biçim hedefleri, güvenli seri durumdan çıkarma ve yükleme davranışı.
- SafeTensors deposu ve biçim belirtimi — uygulama ve başlık/veri düzeni.