GGUF par rapport à SafeTensors : quel format convient à votre flux de travail ?
Choisissez GGUF lorsqu'un environnement d'exécution GGML compatible attend un conteneur prêt pour l'inférence réunissant les métadonnées du modèle et les données des tenseurs. Choisissez SafeTensors lorsque votre framework attend une sérialisation sûre des tenseurs accompagnée d'éléments distincts de configuration du modèle ou du tokeniseur. Ces formats ne constituent pas des niveaux de qualité comparables, et leur conversion peut modifier les tenseurs.
La brève comparaison
| Question posée | GGUF | SafeTensors |
|---|---|---|
| Rôle principal | Conteneur de modèle orienté vers l'inférence pour les exécuteurs GGML | Sérialisation de tenseurs sécurisée et rapide |
| Métadonnées | Les métadonnées clé-valeur définies sont stockées dans le fichier | Petite en-tête de métadonnées au format JSON ; la configuration du modèle est généralement placée à côté |
| Quantification | Prise en charge des types de tenseurs quantifiés et non quantifiés | Peut stocker des tenseurs de types de données pris en charge ; l'extension seule ne dit rien sur une recette de quantification au niveau du modèle |
| Emballage typique | Souvent un seul fichier de modèle principal pour un environnement d'exécution compatible | Souvent un ou plusieurs morceaux de poids, plus la configuration, le tokeniseur et d'autres ressources |
| Exécution | Utilisé dans un logiciel qui implémente l'architecture GGUF requise | Charger via un framework qui connaît la manière dont les tenseurs sont liés à un modèle |
L'extension ne vous dit pas quel modèle est meilleur
Une conversion GGUF et une source SafeTensors peuvent représenter la même famille de modèles à des précisions différentes, ou des ajustements entièrement différents. La qualité de sortie, la vitesse et l'utilisation de la mémoire dépendent des tenseurs réels, de la quantification, des noyaux d'exécution et de l'équipement matériel, ce n'est pas un concours entre des extensions de quatre lettres.
C'est pourquoi la question de la « qualité de GGUF par rapport à SafeTensors » est incomplète. Comparez d'abord la révision source, la représentation des tenseurs et l'exécuteur prévu. Un GGUF quantifié soigneusement choisi peut constituer la meilleure copie d'inférence locale pour une machine, tandis que le checkpoint SafeTensors de plus haute précision reste la meilleure source pour la conservation ou l'entraînement.
Ce que signifie « sécurisé » dans SafeTensors
SafeTensors a été conçu pour éviter l'exécution de code arbitraire lors de la désérialisation et pour permettre un chargement rapide, sans copie, des poids. Cela est plus restrictif que de dire que tous les modèles stockés dedans sont fiables. Les poids peuvent toujours entraîner un comportement nuisible, les métadonnées peuvent toujours être trompeuses et le code environnant reste important.
GGUF est également un format structuré, et non un pickle Python. Un parseur fiable doit valider les bornes et les types, mais le nom ne constitue pas un audit de sécurité. Dans tous les cas, utilisez des chargeurs maintenus et évaluez la provenance.
La conversion est une transformation, pas une compression de sauvegarde
La conversion d'un modèle SafeTensors en GGUF peut inclure une correspondance d'architecture et une conversion de tenseur. La quantification pendant ce processus modifie délibérément les valeurs. Le fichier résultant peut être excellent pour l'inférence, mais il ne contient pas de promesse réversible permettant de reconstruire les octets originaux de SafeTensors.
L'inverse présente des limites similaires. Écrire des tenseurs à partir d'un GGUF vers SafeTensors modifie le conteneur et ne peut pas recréer la configuration externe, les limites de partition originales, les noms de tenseurs ou les valeurs avant la quantification. Conservez la source si ces détails sont importants.
Utilisez des sommes de contrôle à chaque frontière entre artefacts. Calculez le hachage de la source, consignez la commande de conversion et la version de l'outil, puis calculez celui du fichier dérivé. Vous saurez ainsi quels octets précis ont été testés et déployés.
Choisissez lors de la prochaine opération
- Exécution d'un LLM local dans llama.cpp ou un environnement de bureau compatible : choisissez une variante GGUF prise en charge et adaptée à la machine.
- Fine-tuning, chargement dans un framework ou préservation d'un checkpoint publié : conservez le package SafeTensors et sa configuration associée.
- Distribution d'un artefact d'inférence autonome et pratique : GGUF peut simplifier le package, sous réserve de la compatibilité de l'environnement d'exécution et de la licence.
- Garder une famille reproductible : préserver la source et la recette, et éventuellement l'artefact exact qui est effectivement utilisé en production.
Une politique de conservation raisonnable peut conserver les deux
Il n'est pas contradictoire de conserver un checkpoint source unique et un GGUF opérationnel. Ils répondent à des questions de récupération différentes : « puis-je reproduire ou poursuivre le travail à partir de la source ? » et « puis-je restaurer le fichier exact utilisé par cette machine ? ». C'est la conservation de chaque conversion expérimentale sans provenance ni justification qui gaspille de l'espace.
Tensor Archive peut conserver les artefacts locaux que vous sélectionnez et prouver une restauration exacte au niveau des octets. Il ne convertit pas les formats et ne prétend pas qu'un dérivé quantifié contient les informations perdues lors de la conversion.
Lisez chaque format selon ses propres termes
Commencez par ce qu'un fichier GGUF contient et ce qu'un fichier SafeTensors contient. Si le véritable critère est l'espace, lisez pourquoi la compression et la quantification de SafeTensors sont des opérations différentes.
Références
- GGML : spécification GGUF — la structure normative, les métadonnées et la conception des types de tenseurs.
- Hugging Face Hub : GGUF — support actuel de l'écosystème et inspection des métadonnées.
- Documentation SafeTensors — objectifs du format, désérialisation sécurisée et comportement de chargement.
- Dépôt SafeTensors et spécification du format — implémentation et disposition des en-têtes et des données.