← 블로그 목록으로 · 2026.09.02
LoRA 데이터셋 품질을 높이는 방법: 캡션 너머의 것들
캡션을 아무리 꼼꼼하게 정리해도 결과물이 기대만큼 안 나올 때가 있습니다. 이런 경우 원인은 캡션 문법이 아니라 이미지 자체의 구성에 있는 경우가 많습니다. 캡션을 쓰기 전에 먼저 점검하면 좋은 항목들을 정리했습니다.
1. 이미지 수와 다양성의 균형
이미지가 너무 적으면 과적합(overfitting)으로 결과가 학습 이미지를 그대로 베끼는 느낌이 나기 쉽고, 반대로 비슷한 포즈·각도·구도만 잔뜩 있으면 이미지 수가 많아도 다양성이 부족해 그 특정 포즈에만 과적합됩니다. 정면 얼굴 위주로만 모았다면 측면·전신·다양한 표정 컷을 의식적으로 섞어야 결과물이 프롬프트에 유연하게 반응합니다.
2. 거의 동일한 이미지 정리하기
같은 장면을 살짝 다른 각도로 찍었거나, 같은 일러스트의 파일 사이즈만 다른 버전이 여러 개 섞여 있으면 실질적으로 같은 이미지를 중복 학습하는 것과 다르지 않습니다. 데이터셋을 늘리는 것보다, 겹치는 이미지를 추려내고 남은 자리에 새로운 구도·표정의 이미지를 채우는 편이 결과물의 유연성에 더 도움이 됩니다.
3. 해상도와 화질 일관성
지나치게 저해상도이거나 압축 아티팩트가 심한 이미지가 섞여 있으면 그 노이즈까지 학습에 반영됩니다. 가능하면 일정 해상도 이상, 화질이 고른 이미지 위주로 구성하는 것이 좋습니다.
4. 태그 밸런스 맞추기
이미지 전체를 태깅하고 나면, 특정 태그가 유난히 자주 반복되는지 확인해볼 가치가 있습니다. 예를 들어 배경 태그 하나가 데이터셋 전체에 계속 등장한다면, 모델이 그 배경을 캐릭터/화풍의 일부처럼 학습해버릴 수 있습니다. 이럴 때는 Threshold를 0.25~0.3 정도로 낮춰서 AnimeTag-AI로 이미지마다 최대한 많은 태그를 뽑아낸 뒤, 반복적으로 걸리는 불필요한 태그를 사람이 걸러내는 방식을 권장합니다. Threshold를 상황별로 어떻게 잡을지는 Threshold 값 권장 가이드에서 다룹니다.
5. 무엇을 남기고 뺄지는 목적에 따라 다릅니다
이미지 구성을 다 정리한 다음에는 캡션 단계로 넘어가게 되는데, 이때 어떤 태그를 캡션에 남기고 뺄지는 Character LoRA인지 Style LoRA인지에 따라 기준이 달라집니다. 캡션 전략과 문법은 LoRA 학습용 데이터셋, 태그 캡션 이렇게 정리하세요에서 확인할 수 있습니다.
결국 좋은 LoRA 데이터셋은 "캡션을 얼마나 잘 썼는가"보다 "어떤 이미지를 어떻게 모았는가"에서 절반 이상이 결정됩니다. 캡션에 시간을 쏟기 전에 이미지 구성부터 한 번 점검해보세요.