O armazenamento sem perdas de SafeTensors não é quantização de pesos
«Comprimir SafeTensors» pode significar duas coisas fundamentalmente diferentes: conservar os bytes originais para uma recuperação exata ou criar uma representação diferente dos pesos que seja mais pequena para um ambiente específico. Escolha primeiro o requisito; as ferramentas decorrem dele.
Recuperação exata ou pesos alterados
A quantização é uma decisão sobre o formato do modelo. Reduz a precisão numérica ou altera de outra forma a representação para que um ambiente de execução utilize menos memória ou armazenamento. Pode ser perfeitamente adequada para a implementação, mas a saída não é o artefacto original.
Um arquivo sem perdas tem outra função: recuperar exatamente os bytes do ficheiro original. O Tensor Archive destina-se a manter versões locais relacionadas de modelos numa família compacta e gerida e a restaurar uma versão selecionada a pedido. Não é um quantizador, uma ferramenta de poda nem um conversor de formatos.
Faça uma pergunta concreta: quando recuperar este modelo mais tarde, tem de ser exatamente o mesmo ficheiro, byte a byte? Se sim, não torne uma transformação de formato no seu único plano de conservação.
Por que motivo um ficheiro SafeTensors pode quase não mudar de tamanho
O tamanho do ficheiro, por si só, não indica se um processo de armazenamento terá um resultado forte. Um ficheiro individual pode conter dados que não se repetem de forma útil num arquivo exato. Uma família relacionada pode ser diferente: as implementações autónomas podem repetir um checkpoint base e as versões concluídas de um projeto podem partilhar material substancial.
É por isso que o primeiro passo deve ser uma análise dos ficheiros que pretende manter juntos. Não prometa uma percentagem com base na extensão nem presuma que um ficheiro grande é automaticamente um bom candidato a arquivo.
Leia o benchmark no seu âmbito real
O Tensor Archive publica um exemplo controlado de cinco implementações no qual 907.3 MB guardados separadamente passaram a 261.6 MB como uma família relacionada de modelos e adaptadores: menos 71.2% de armazenamento físico. A comparação é valiosa porque a carga de trabalho, a relação entre os ficheiros e a condição de restauração exata estão indicadas junto ao resultado.
O que isto não significa: que um único ficheiro SafeTensors, uma pasta aleatória ou cada LoRA pouparão 71.2%. Os ficheiros não relacionados e já comprimidos poderão poupar pouco. Uma decisão real deve resultar da análise da família à sua frente.
Como testar um processo de armazenamento em segurança
- Faça uma cópia independente de tudo o que não possa ser substituído.
- Escolha uma família relacionada e inspecione-a antes de alterar uma pasta de trabalho.
- Analise a origem e reveja o resultado esperado.
- Arquive-o, execute Verificar e restaure-o para uma saída separada.
- Compare ou carregue o artefacto restaurado no fluxo relevante.
- Só depois desse teste deverá decidir se uma cópia de trabalho pode ser removida manualmente.
Escolha a ferramenta adequada ao problema
Utilize a quantização quando pretender deliberadamente uma representação de implementação diferente e compreender os compromissos no ambiente de execução. Utilize um arquivo local exato quando precisar de conservar e recuperar os bytes originais de modelos relacionados, reduzindo o armazenamento repetido quando essa relação existir. Para um fluxo de limpeza específico de LoRA, leia como libertar espaço em disco numa biblioteca de LoRA.
Comece por uma família e um resultado que consiga inspecionar. Descarregue o Tensor Archive para executar o processo localmente ou consulte o resumo público do benchmark antes de experimentar.
Fontes
- Documentação do projeto SafeTensors — objetivos do formato, estrutura e tipos de tensores compatíveis.
- Resumo do benchmark do Tensor Archive — a carga publicada e as provas de restauração exata.