복원을 나중 문제로 미루지 않고 완료된 LoRA 학습 체크포인트 아카이브하기
완료된 학습 아티팩트는 활성 학습 체크포인트와 같지 않습니다. 보관하고 복구해야 할 완료 버전을 보존하되 저장 아카이브를 중단된 실행을 재개하는 데 필요한 장치와 혼동하지 마세요.
저장, 학습 및 복구 분리하기
‘체크포인트 저장’은 완료된 추론 버전 보존, 프로젝트 기록 유지, 실패한 실행 복구, 컴퓨터 간 데이터 이동 등 여러 작업을 한꺼번에 가리키곤 합니다. 이러한 요구사항은 서로 바꿔 쓸 수 없습니다.
Tensor Archive는 버전이 완료된 뒤 관련 아티팩트의 로컬 모델군을 복구 가능하게 유지하려 할 때 유용합니다. 학습 도구나 활성 체크포인트 관리자가 아니며, 학습 스택이 안전한 재개에 요구하는 파일과 프로세스를 대신하지 않습니다. 실행이 실제로 끝날 때까지 활성 실행 자료를 해당 스택이 기대하는 위치에 보관하세요.
완료된 모델군을 신중하게 선택
합리적인 모델군에는 한 실험의 완료된 LoRA 버전, 함께 사용할 베이스 모델, 보존해야 할 평가 출력 및 릴리스를 이해하는 데 필요한 작은 프로젝트 파일이 포함될 수 있습니다. 디스크의 모든 실험을 자동으로 포함해서는 안 됩니다.
아카이브하기 전에 프로젝트, 대상 베이스 및 버전 경계를 담은 평이한 이름을 작성하세요. 이는 불필요한 일이 아닙니다. 원래 학습 맥락이 희미해진 뒤에도 명확한 모델군은 올바르게 복원하기 쉽습니다.
완료 관문 이후에 아카이브
- 실행을 완료하고 학습 워크플로에 필요한 활성 학습 자료를 유지하세요.
- 검색 또는 배포를 위해 함께 속하는 완료 아티팩트를 선택하세요.
- Tensor Archive에서 Analyse source를 실행하고 포함될 항목을 확인하세요.
- 모델군을 관리되는 로컬 사본으로 아카이브한 다음 Verify를 실행하세요.
- 별도의 출력으로 복원하고 대상 추론 또는 평가 워크플로에서 복구된 버전을 테스트하세요.
- 그 증명을 마친 후에만 중복 작업 사본을 수동으로 회수하세요.
정확한 복구는 의미가 좁습니다. 아카이브된 파일을 정확히 복원할 수 있음을 입증할 뿐, 복원된 모델이 최상의 체크포인트인지, 기대한 평가 품질과 같은지 또는 활성 실행을 재개할 수 있는지는 말하지 않습니다.
공개된 체크포인트 결과가 보여 주는 것
Tensor Archive의 통제된 순차 BF16 체크포인트 검증에서 완전한 버전 다섯 개의 원본 합계: 4.060 GB. Tensor Archive 사용량: 1.846 GB. Gear CDC 비교보다 34.318% 적었고, 파일 50개 중 50개가 복원되었으며 서로 다른 바이트는 없었습니다. 이는 고정된 워크로드의 저장 및 정확한 복구 결과입니다.
수치의 범위를 함께 보관하세요. 이 결과는 관련 없는 실험, 활성 학습 루프의 성능 또는 일반적인 절감 약속에 대해 말하지 않습니다. 기대치를 세우기 전에 완료된 모델군에 Analyse를 사용하세요.
실용적인 운영 원칙
정책을 하나가 아니라 둘로 유지하세요. 학습 워크플로가 소유하는 활성 실행 정책과 로컬 보존 및 이후 검색을 위한 완료 아티팩트 정책입니다. 분리하면 삭제 위험이 줄고 아카이브가 실제로 무엇을 입증하는지 더 명확해집니다.
사용자용 워크플로는 Tensor Archive 빠른 시작을 참고하세요. 관련 저장 결정은 무손실 저장이 가중치 양자화가 아닌 이유를 읽은 다음 Tensor Archive를 다운로드하여 완료된 모델군을 로컬에서 테스트하세요.
출처
- LoRA: Low-Rank Adaptation of Large Language Models — 여기서 다룬 완료 아티팩트의 기반이 되는 어댑터 방식.
- Tensor Archive 벤치마크 요약 — 고정 체크포인트 워크로드, 비교 및 바이트 단위로 정확한 복원 횟수.