GGUF ja SafeTensors: kumpi muoto kuuluu työnkulkuusi?
Valitse GGUF, kun yhteensopiva GGML-ajoympäristö odottaa inferenssivalmista säilöä, jossa mallin metatiedot ja tensoritiedot ovat yhdessä. Valitse SafeTensors, kun ohjelmistokehys odottaa turvallista tensorien serialisointia sekä erillisiä mallimääritys- tai tokenizer-resursseja. Muodot eivät ole suoria laatutasoja, ja niiden välinen muunnos voi muuttaa tensoritiedostoja.
Lyhyt vertailu
| Kysymys | GGUF | SafeTensors |
|---|---|---|
| Ensisijainen tehtävä | Päättelyyn tarkoitettu mallisäiliö GGML-suorittimille | Turvallinen ja nopea tensor-serialisointi |
| Metatiedot | Määritetyt avain-arvo-metatiedot ovat tiedostossa | Pieni JSON-metatieto-otsikko; mallimääritys sijaitsee yleensä sen vieressä |
| Kvantisointi | Tukee kvantisoituja ja kvantisoimattomia tensorityyppejä | Voi tallentaa tuettujen tietotyyppien tensoreita; tiedostopääte ei yksin kerro mitään mallitason kvantisointireseptistä |
| Tyypillinen paketointi | Usein yksi päämallitiedosto yhteensopivalle ajoympäristölle | Usein yksi tai useita paino-shards-tiedostoja sekä määritys, tokenizer ja muita resursseja |
| Suoritus | Käytä ohjelmistossa, joka toteuttaa vaaditun GGUF-arkkitehtuurin | Lataa ohjelmistokehyksellä, joka tietää, kuinka tensoritiedostot yhdistyvät malliin |
Tiedostopääte ei kerro, kumpi malli on parempi
GGUF-muunnos ja SafeTensors-lähde voivat edustaa samaa malliperhettä eri tarkkuuksilla tai täysin eri finetuning-versioita. Tuloksen laatu, nopeus ja muistinkäyttö määräytyvät todellisten tensorien, kvantisoinnin, ajoympäristön ytimien ja laitteiston mukaan — eivät nelikirjaimisten tiedostopäätteiden kilpailusta.
Siksi ”GGUF- ja SafeTensors-laatu” on puutteellinen kysymys. Vertaa ensin lähderevisiota, tensor-esitystä ja tarkoitettua suoritinta. Huolellisesti valittu kvantisoitu GGUF voi olla paras paikallinen inferenssikopio yhdelle koneelle, kun taas korkeamman tarkkuuden SafeTensors-checkpoint säilyy parempana säilytys- tai koulutuslähteenä.
Mitä SafeTensors-muodon ”turvallinen” tarkoittaa
SafeTensors suunniteltiin välttämään mielivaltaisen koodin suorittamista deserialisoinnissa ja tukemaan nopeaa zero-copy-latausta. Tämä on suppeampi väite kuin kaikkien siihen tallennettujen mallien luotettavuus. Painot voivat silti tuottaa haitallista käyttäytymistä, metatiedot voivat johtaa harhaan ja ympäröivällä koodilla on edelleen merkitystä.
Myös GGUF on rakenteinen muoto eikä Python pickle. Vankan jäsentimen tulee tarkistaa rajat ja tyypit, mutta muodon nimi ei itsessään ole tietoturva-auditointi. Käytä kummassakin tapauksessa ylläpidettyjä lataimia ja arvioi alkuperä.
Muuntaminen on transformaatio, ei arkistopakkausta
SafeTensors-mallin muuntaminen GGUF-muotoon voi sisältää arkkitehtuurin mappauksen ja tensor-muunnoksen. Kvantisointi prosessin aikana muuttaa arvoja tarkoituksella. Tuloksena oleva tiedosto voi sopia inferenssiin erinomaisesti, mutta se ei sisällä palautettavaa lupausta alkuperäisten SafeTensors-tavujen uudelleenmuodostamisesta.
Käänteisellä suunnalla on vastaavat rajat. Tensoritiedostojen kirjoittaminen GGUF-muodosta SafeTensors-muotoon muuttaa säilöä eikä ehkä toisinna ulkoista määritystä, alkuperäisiä shard-rajoja, tensorinimiä tai kvantisointia edeltäneitä arvoja. Säilytä lähde, jos nämä tiedot ovat tärkeitä.
Käytä tarkistussummia artefaktien jokaisella rajalla. Laske lähteen tiiviste, kirjaa muunnoskomento ja työkalun versio ja laske sitten johdetun tiedoston tiiviste. Näin tiedät, mitkä täsmälliset tavut testattiin ja otettiin käyttöön.
Valitse seuraavan toiminnon mukaan
- Paikallisen LLM-mallin suorittaminen llama.cpp-ohjelmalla tai yhteensopivassa työpöytäajoympäristössä: valitse koneelle sopivan kokoinen tuettu GGUF-versio.
- Finetuning, ohjelmistokehyksellä lataaminen tai julkaistun checkpoint-tiedoston säilyttäminen: säilytä SafeTensors-paketti ja sen oheismääritys.
- Yhden kätevän päättelyartefaktin jakelu: GGUF voi yksinkertaistaa pakettia, jos ajoympäristö ja lisenssi ovat yhteensopivia.
- Toisinnettavan perheen säilyttäminen: säilytä lähde ja resepti sekä halutessasi täsmälleen se johdettu artefakti, jota tuotanto oikeasti käyttää.
Järkevä säilytyskäytäntö voi pitää molemmat
Yhden ensisijaisen lähde-checkpointin ja yhden käytössä olevan GGUF-tiedoston säilyttämisessä ei ole ristiriitaa. Ne vastaavat eri palautuskysymyksiin: ”voinko toisintaa työn tai jatkaa sitä lähteestä?” ja ”voinko palauttaa täsmälleen sen tiedoston, jota tämä kone palveli?” Tilaa tuhlaa jokaisen kokeellisen muunnoksen säilyttäminen ilman alkuperätietoja tai tarkoitusta.
Tensor Archive voi säilyttää valitsemasi paikalliset artefaktit ja todistaa tavuntarkan palautuksen. Se ei muunna tiedostomuotoja eikä väitä, että kvantisoitu johdannainen sisältäisi muunnoksessa pois jätetyt tiedot.
Lue kutakin muotoa sen omilla ehdoilla
Aloita oppaista mitä GGUF-tiedosto sisältää ja mitä SafeTensors-tiedosto sisältää. Jos todellinen päätös koskee tilaa, lue, miksi SafeTensors-pakkaus ja kvantisointi ovat eri toimintoja.
Lähteet
- GGML: GGUF-määritys — normatiivinen rakenne, metatiedot ja tensor-tyyppien suunnittelu.
- Hugging Face Hub: GGUF — ekosysteemin nykyinen tuki ja metatietojen tarkistus.
- SafeTensors-dokumentaatio — muodon tavoitteet, turvallinen deserialisointi ja latauskäyttäytyminen.
- SafeTensors-repository ja muotomääritys — toteutus sekä otsikon ja tietojen rakenne.