LoRA ile QLoRA: ne değişir, ne aynı kalır?
LoRA ve QLoRA ilişkili ince ayar yaklaşımlarıdır; ancak farklı kaynak kısıtlarını yanıtlarlar. LoRA taban modelin yanında küçük adaptör güncellemeleri eğitir; QLoRA bellek baskısını azaltmak için bu adaptör yaklaşımını ince ayar sırasında kuantize taban modelle birleştirir.
LoRA pratikte ne anlama gelir
Low-Rank Adaptation (LoRA), taban modelin her parametresini değiştirmek yerine eğitilebilir düşük rütbeli güncellemeler ekler. Ortaya çıkan adaptör genellikle eksiksiz ince ayarlı modelden çok daha küçüktür; ancak yalnızca beklenen taban model, mimari ve yükleme iş akışıyla ilişkisi içinde anlamlıdır.
Saklama bakımından temel gerçek bu ilişkidir. “style-v7” adlı dosya gelecekte size hangi tabanı beklediğini, onu hangi projenin ürettiğini veya hangi tamamlanmış sürümü saklamak istediğinizi söylemeyebilir. Adaptörü ve kurtarmak için gereken bağlamı bilinçli aile olarak ele alın.
QLoRA'nın ekledikleri
QLoRA, LoRA adaptörlerini eğitirken ince ayar sırasında kuantize taban model kullanır. Temel amacı büyük modellerin ince ayarını bellek bakımından daha verimli kılmaktır. Çalışmanın ürettiği her artefaktın kuantize edilmemiş kurulumla birbirinin yerine kullanılabileceği anlamına gelmez ve korumayı amaçladığınız tabanı, yapılandırmayı ve tamamlanmış çıktıyı kaydetme gereğini ortadan kaldırmaz.
“QLoRA”yı depolama etiketi olarak kullanmayın. Bu, ince ayar yaklaşımını ve taban model çevresindeki kısıtları açıklar. Arşivin ortaya çıkan her dosyayı küçülteceğine dair söz değildir ve birebir kurtarma testinin yerini almaz.
Tamamlanmış çalışmadan sonra neleri saklamalısınız?
Tamamlanmış artefaktı açıkça belirlemeye yetecek bağlamı saklayın: yayımlanan adaptör, amaçlanan taban model kimliği veya revizyonu, projenizin gerektirdiği yapılandırma ve değerlendirme materyali ve açık proje/sürüm adı. Eğitim yığınınız çalışmaya devam etmek için gerektiriyorsa ayrı çalışma yönetimi materyali tutun.
Sürüm tamamlandığında yerel arşiv, ilişkili dosyaları tek aile olarak korumaya ve daha sonra eksiksiz kurtarmaya yardımcı olabilir. Hızla alan boşaltmak için canlı çalışmayı arşivlemeyin; çalışmayı tamamlayın, ihtiyaç duyduklarını saklayın, sonra bitmiş artefakt kümesine depolama iş akışı uygulayın.
Tensor Archive'ın yeri
Tensor Archive yerel depolama ve kurtarma aracıdır, ince ayar frameworkü değildir. Tamamlanma sınırından sonra ilişkili aileyi analiz edebilir, arşivleyebilir, kurtarılabilirliği doğrulayabilir ve gereksiz kaynağı elle kaldırmadan önce ayrı bir kopyayı geri yükleyebilirsiniz. Bu, özellikle taban ile tamamlanmış adaptörleri veya yakından ilişkili sürümleri birlikte saklarken yararlıdır.
Pratik bir genel kural
Yönteme yabancıysanız AI'da LoRA'nın ne anlama geldiğiyle başlayın. Artefaktın nasıl üretildiğini açıklamak için LoRA veya QLoRA terminolojisini kullanın, sonra tamamlanmış dosyaların neye bağımlı olduğunu belirlemek üzere checkpoint ile LoRA karşılaştırmasını kullanın. Depolama sırası için tamamlanmış checkpoint arşivi rehberini okuyun.