체크포인트와 LoRA의 차이는 무엇인가요?

모델 체크포인트는 특정 시점의 모델 상태를 기록합니다. 이미지 생성 커뮤니티에서 “체크포인트”는 로드 가능한 전체 모델 가중치 집합을 뜻하기도 합니다. LoRA는 호환되는 베이스 모델에 적용되는 훨씬 작은 학습 업데이트를 저장합니다. 체크포인트는 대상 파이프라인에서 단독으로 작동할 수 있지만 LoRA에는 베이스가 포함되지 않습니다.

“체크포인트”에는 서로 관련된 두 가지 의미가 있습니다

학습 중 체크포인트는 작업을 평가하거나 재개할 수 있도록 저장한 상태입니다. 모델 가중치, 옵티마이저 상태, 스케줄러 상태, 난수 상태 및 학습 메타데이터가 포함될 수 있습니다. 추론 체크포인트는 사용할 모델을 로드하는 데 필요한 가중치와 구성이 들어간 더 간결한 내보내기인 경우가 많습니다.

Stable Diffusion 커뮤니티에서 “체크포인트”는 UI에서 선택하는 주 모델 파일을 줄여 부르는 말이기도 합니다. 그렇다고 모든 종속성이 포함되었다고 보장되지는 않습니다. 파이프라인에는 애플리케이션이나 동봉 패키지가 제공하는 VAE, 텍스트 인코더, 토크나이저 또는 구성이 여전히 필요할 수 있습니다. 항상 복구하려는 로더를 기준으로 “완전함”을 정의하세요.

LoRA는 두 번째 전체 모델이 아니라 학습된 업데이트입니다

Low-Rank Adaptation은 사전 학습된 가중치를 고정하고 선택한 레이어에 대해 저랭크 업데이트를 학습합니다. 추론 시 프레임워크는 해당 업데이트를 베이스에 동적으로 적용하거나 파생 사본에 융합할 수 있습니다. 어댑터가 작은 이유는 모든 베이스 가중치를 몰래 압축해서가 아니라 업데이트만 저장하기 때문입니다.

이 종속성이 체크포인트와 LoRA를 구분하는 핵심입니다. 한 Stable Diffusion 패밀리를 위해 학습한 인물 스타일 LoRA가 다른 아키텍처에서 작동한다고 가정할 수 없습니다. 언어 모델 어댑터도 마찬가지로 구성에 설명된 베이스 모델과 대상 모듈에 의존합니다.

실용 비교

LoRA를 병합하면 체크포인트가 되나요?

어댑터를 베이스에 융합하거나 병합하면 파생 가중치가 생성됩니다. 도구가 그 가중치를 흔히 체크포인트라고 부르는 파일로 저장할 수 있지만 해당 출력은 원래 베이스가 아니며 베이스와 어댑터의 깔끔하고 가역적인 분리를 반드시 보존하지는 않습니다. 부동 소수점 연산, dtype 변환 및 내보내기 선택이 모두 결과에 영향을 줄 수 있습니다.

강도를 바꾸거나 어댑터를 결합하거나 병합을 재현하려면 융합되지 않은 어댑터와 정확한 베이스를 보관하세요. 그 정확한 배포 파일이 운영상 중요하다면 병합된 산출물도 보관하세요. 병합 파일 하나가 한 번 성공적으로 로드되었다는 이유만으로 소스를 삭제하지 마세요.

미세 조정 중 보관할 것

진행 중인 실행에서는 중간 체크포인트가 평가와 중단 복구에 유용합니다. 실행이 완료되면 실제 질문에 답하는 마일스톤, 즉 선택한 최종 어댑터, 방어 가능한 비교 체크포인트 하나 이상, 구성, 학습 코드 또는 명령, 데이터 세트 참조 및 평가 기록을 보관하세요. LoRA 학습 체크포인트 가이드는 이를 무조건 “모두 보관”하는 문제가 아닌 재현성 결정으로 다룹니다.

파일 이름을 따로 보지 말고 패밀리로 보관하세요

유용한 LoRA 패밀리에는 호환되는 베이스를 식별하고 구하는 데 충분한 맥락이 포함됩니다. 베이스가 희귀하거나 비공개이거나 로컬에서 수정되었다면 어댑터와 함께 보관하세요. 체크포인트 패밀리에는 첫 로드 때 런타임이 묵시적으로 제공한 보조 구성 요소가 포함될 수 있습니다.

Tensor Archive는 선택한 로컬 텐서를 연관 패밀리로 보관하고 검증하도록 돕습니다. 파일 이름만 보고 호환성을 추측하거나 누락된 학습 상태를 재구성하거나 LoRA를 독립형 베이스 모델로 바꾸지 않습니다.

보유한 산출물로 계속하기

어댑터 확장자가 헷갈리는 부분이라면 LoRA 파일에 들어 있는 내용을 읽으세요. 학습 방법을 선택한다면 LoRA와 QLoRA 비교를 사용하세요. 저장 공간 부담 때문에 묻는 것이라면 LoRA 가중치를 바꾸지 않고 디스크 공간을 확보하는 방법을 확인하세요.