Tek temel model, birkaç adaptör: temeli tekrarlamadan dağıtımları saklayın
LoRA, paketleme biçiminiz büyük bir temel modeli beş kez tekrarlayana kadar küçüktür. Temel ve adaptörleri gerçekten birbirine aitse depolama sorusu “hangi dosyayı sıkıştırabilirim?” değil, “daha sonra hangi ilişkiyi kurtarmam gerekiyor?” olur.
Tekrarlanan temel örüntüsü
Kopyalamak veya devretmek kolay olduğu için kendi kendine yeterli dağıtım klasörleri oluşturmak yaygındır: adaptör başına bir klasör ve her birinde gereken temel model. Klasörleri ayrı ayrı anlamak kolaydır, ancak aynı temel her dağıtımda bulunduğunda kitaplık pahalı hâle gelir.
Yararlı birim ilişkili ailedir. İlişkiyi tek cümleyle ifade edebildiğinizde temeli, adaptörleri ve dağıtım sürümlerini birlikte tutun. Yalnızca aynı diski kullanıyorlar diye ilişkisiz modelleri karıştırmayın.
Yerel olarak kullanışlıdır, ancak aynı byte'lar ilişkili sürümlerde tekrar tekrar bulunabilir.
Tek bir aileye neler aittir?
- bir temel checkpoint ve onun için tasarlanmış LoRAs veya adaptörler;
- bu temeli tekrarlayan, yakın ilişkili kendi kendine yeterli dağıtımlar; veya
- açık bir kurtarma amacı olan tek bir model projesinden tamamlanmış revizyonlar.
Her checkpointi, her LoRA'yı veya her model biçimini dev bir arşivde birleştirmeyin. Arşiv belirsizliği azaltmalı, artırmamalıdır. Bir dosyanın aileye neden ait olduğunu açıklayamıyorsanız ayrı tutun.
Ölçülen sonuç gerçekte neyi gösteriyor
Tensor Archive'ın kontrollü beş dağıtımlı model ve adaptör örneği, her dağıtım bağımsız saklandığında 907.3 MB, ilişkili tek bir aile olarak ise 261.6 MB ölçtü: 71.2% daha az fiziksel depolama. Sayının amacı, adaptörler hakkında evrensel bir iddia değil, tekrarlanan temel örüntüsüdür.
Yalnızca yüzdeyi değil, kapsamı okuyun. İlişkili ve kendi kendine yeterli beş dağıtım kullanıldı ve geri yüklemeler birebirdi. Tek bir adaptör, paylaşılan verisi olmayan bir klasör veya ilişkisiz modellerden oluşan bir kitaplık çok farklı sonuç verebilir.
Örüntüyü test etmenin güvenli yolu
- Temeli ve yalnızca onunla gerçekten ilişkili adaptörleri seçin.
- Add model family → Local folder seçeneğini kullanın ve Analyse source işlemini çalıştırın.
- Arşivlemeden önce sonucu inceleyin; gerçek bir aile burada yerini hak eder.
- Arşivleyin, Verify işlemini çalıştırın ve ardından ayrı bir kopyayı geri yükleyin.
- Eski bir çalışma kopyasını elle kaldırmadan önce geri yüklenen sürümü ona ihtiyaç duyan iş akışında test edin.
Depolamayı ve dönüşümü ayrı tutun
Bu, her dosyayı dönüştürmek veya model ağırlıklarını değiştirmek için bir neden değildir. Tensor Archive kuantizasyon veya model dönüştürme aracı değildir; birebir kurtarmanın önemli olduğu ilişkili sürümler için yerel arşivdir. Paket net değilse gruplandırmadan önce bir LoRA dosyasının ne içerdiğini inceleyin. Depolama ile dönüşüm arasındaki fark için SafeTensors depolaması ve kuantizasyonu yazısını okuyun.
İlişki gerçekse iş akışı basittir: analiz edin, arşivleyin, doğrulayın, geri yükleyin ve ardından neyin kaldırılacağını elle seçin. Bu testi tek bir aileyle çalıştırmak için Tensor Archive'ı indirin.
Kaynaklar
- LoRA: Low-Rank Adaptation of Large Language Models — adaptörlerin neden temel modelden ayrı, düşük ranklı güncellemeler olduğu.
- Tensor Archive karşılaştırma özeti — beş dağıtımlı iş yükü ve birebir geri yükleme kanıtı.