ComfyUI 모델 설치 및 추천 가이드

"모델"이라는 한 단어가 서로 다른 여러 파일을 가리키기 때문에 처음에는 혼란스럽습니다. 역할부터 나눠서 보면 정리가 됩니다. ■ 체크포인트 (Checkpoint) 그림을 그리는 본체입니다. 이것 하나만 있어도 이미지를 만들 수 있습니다. 파일 크기는 2~7GB 정도이며, 반드시 하나는 있어야 합니다. ■ LoRA 체크포인트에 덧입히는 얇은 층입니다. 특정 화풍, 특정 인물, 특정 옷차림 같은 좁은 목표를 학습한 파일로 보통 50~300MB입니다. 단독으로는 동작하지 않고 항상 체크포인트 위에 얹어 씁니다. ■ VAE 잠재 공간의 데이터를 실제 픽셀로 바꾸는 변환기입니다. 대부분의 체크포인트에는 이미 내장되어 있어 따로 받을 필요가 없습니다. 색이 탁하거나 흐릿하게 나올 때만 별도 VAE를 시도합니다. ■ ControlNet 포즈, 윤곽선, 깊이 같은 구조 정보를 강제하는 보조 모델입니다. 체크포인트 계열과 짝이 맞아야 합니다. SD1.5용 ControlNet은 SDXL 체크포인트에서 동작하지 않습니다. ■ 업스케일 모델 완성된 이미지를 키우는 전용 모델입니다. 생성 과정과는 별개로 마지막 단계에서 씁니다. ■ 임베딩 (Textual Inversion) 프롬프트에서 특정 단어처럼 불러 쓰는 아주 작은 파일입니다. 요즘은 LoRA에 밀려 사용 빈도가 줄었지만, 부정 프롬프트용 임베딩은 여전히 널리 쓰입니다.

체크포인트는 계열(아키텍처)이 다르면 서로 호환되지 않습니다. 계열을 먼저 정하고 그 안에서 개별 모델을 고르는 순서가 맞습니다. ■ SD1.5 계열 가장 오래됐고 가장 가볍습니다. 기준 해상도는 512×512이며 파일은 보통 2~4GB입니다. 장점은 낮은 요구사양과 압도적으로 많은 LoRA·ControlNet 자산입니다. VRAM 4~6GB에서도 무리 없이 돌아갑니다. 단점은 해상도를 올리면 인물이 겹치거나 몸이 늘어나는 현상입니다. 손과 글자 표현도 약합니다. VRAM이 8GB 미만이거나, 원하는 화풍의 LoRA가 SD1.5에만 있다면 이 계열이 답입니다. ■ SDXL 계열 현재 가장 무난한 선택입니다. 기준 해상도 1024×1024, 파일 6~7GB. SD1.5보다 구도가 안정적이고 해상도 여유가 있습니다. 커뮤니티 자산도 충분히 쌓였습니다. VRAM 8GB에서 저사양 옵션을 주면 동작하고, 10~12GB면 편안합니다. 특별한 이유가 없다면 여기서 시작하기를 권합니다. ■ Flux 계열 사진 같은 사실성과 이미지 안의 글자 표현에서 가장 앞섭니다. 대신 파일이 12~24GB로 크고 VRAM 요구가 높습니다. 구조가 달라 설정도 다릅니다. 체크포인트 하나가 아니라 확산 모델·텍스트 인코더·VAE를 따로 불러오며, cfg는 1.0으로 두고 별도의 가이던스 값을 씁니다. 부정 프롬프트가 사실상 동작하지 않는 점도 다릅니다. VRAM 16GB 이상, 그리고 양자화된 경량 버전을 쓸 준비가 되어 있을 때 시도하세요. ■ 계열이 섞이면 생기는 일 SDXL 체크포인트에 SD1.5용 LoRA를 얹으면 오류가 나거나 결과가 뭉개집니다. 파일을 받을 때 배포 페이지에 적힌 기반 계열을 반드시 확인하세요. 이것이 초보자가 가장 자주 겪는 실패 원인입니다.

ComfyUI는 폴더 위치로 모델의 종류를 판단합니다. 파일명을 아무리 잘 지어도 폴더가 틀리면 인식하지 않습니다. ComfyUI/models/ checkpoints/ 체크포인트 loras/ LoRA vae/ VAE controlnet/ ControlNet upscale_models/ 업스케일 모델 embeddings/ 임베딩 clip/ 텍스트 인코더 (Flux 등에서 사용) unet/ 확산 모델 단독 파일 (Flux 등에서 사용) 파일을 넣은 뒤에는 브라우저를 새로고침하면 대개 목록에 나타납니다. 나타나지 않으면 ComfyUI를 재시작하세요. ■ 확장자 .safetensors를 쓰세요. .ckpt는 구형 형식으로 임의 코드 실행 위험이 있습니다. 같은 모델이 두 형식으로 제공되면 예외 없이 safetensors를 고르면 됩니다. ■ 디스크가 부족할 때 모델을 다른 드라이브에 두고 경로만 알려줄 수 있습니다. ComfyUI 폴더의 extra_model_paths.yaml.example 파일을 extra_model_paths.yaml로 복사한 뒤 경로를 적으면 됩니다. Automatic1111을 이미 쓰고 있다면 그쪽 모델 폴더를 그대로 공유할 수도 있어 중복 다운로드를 피할 수 있습니다. ■ 목록에 안 뜰 때 점검 순서 1. 폴더가 맞는지 — 체크포인트를 loras에 넣는 실수가 흔합니다. 2. 확장자가 .safetensors인지 — 브라우저가 뒤에 .txt를 붙여 저장한 경우가 있습니다. 3. 다운로드가 끝났는지 — 중간에 끊긴 파일은 크기가 작습니다. 배포 페이지의 표기 용량과 비교하세요. 4. ComfyUI 재시작.

구체적인 모델명은 유행이 빨리 바뀌므로, 고르는 기준을 잡는 편이 오래 갑니다. ■ 목적에 따라 사실적인 인물이나 제품 사진이 목표라면 "photorealistic", "realistic" 계열을 찾습니다. 애니메이션 화풍이라면 "anime" 계열, 일러스트라면 "illustration" 계열입니다. 한 모델이 모든 화풍을 잘하지는 않으므로, 자주 만드는 유형 한두 가지에 맞춰 고르세요. ■ 배포 페이지에서 볼 것 1. 기반 계열 — SD1.5인지 SDXL인지 Flux인지. 가장 중요합니다. 2. 권장 설정 — 제작자가 적어둔 steps, cfg, 샘플러, 해상도를 그대로 따라 하면 실패가 줄어듭니다. 3. 예시 이미지 — 대부분의 배포 페이지는 예시 이미지에 생성 설정을 함께 담고 있습니다. 마음에 드는 예시가 있으면 그 설정을 그대로 재현해보는 것이 가장 빠른 학습법입니다. 4. 라이선스 — 상업적 이용 가능 여부, 생성물 판매 가능 여부가 모델마다 다릅니다. 업무에 쓸 계획이면 반드시 확인하세요. ■ 처음 받는다면 체크포인트 1개, 업스케일 모델 1개면 시작하기에 충분합니다. LoRA와 ControlNet은 필요를 느낀 뒤에 받아도 늦지 않습니다. 처음부터 수십 GB를 받아두면 대부분 쓰지 않은 채 디스크만 차지합니다. ■ 안전 확인 다운로드 전에 파일 크기가 상식적인지 보세요. SD1.5 체크포인트가 200MB라면 정상이 아닙니다. 그리고 앞서 말한 대로 safetensors 형식을 고집하세요. 형식 자체가 코드를 담을 수 없도록 설계되어 있습니다.

LoRA는 체크포인트 위에 얹는 방식이라 워크플로우에서 연결 순서가 중요합니다. Load Checkpoint의 MODEL과 CLIP 출력을 LoraLoader에 넣고, LoraLoader의 출력을 그다음 노드(KSampler와 텍스트 인코더)로 보냅니다. 체크포인트에서 직접 KSampler로 가면 LoRA가 적용되지 않은 채 그대로 지나갑니다. 겉으로는 오류가 없어 "LoRA를 넣었는데 아무 변화가 없다"는 상황이 됩니다. ■ 강도 조절 LoraLoader에는 강도 값이 둘 있습니다. 모델 강도와 CLIP 강도입니다. 보통 0.6~0.8에서 시작합니다. 1.0을 넘기면 그림이 뭉개지거나 특정 특징이 과하게 나옵니다. 효과가 약하면 0.1씩 올려보세요. ■ 여러 개 겹치기 LoraLoader를 사슬처럼 이어 붙이면 여러 LoRA를 동시에 쓸 수 있습니다. 다만 각각의 강도를 낮춰야 합니다. 세 개를 각각 0.8로 넣으면 대개 결과가 무너집니다. 0.4~0.5 정도로 나누세요. ■ 트리거 단어 많은 LoRA가 특정 단어를 프롬프트에 넣어야 제대로 작동합니다. 배포 페이지에 "trigger words" 또는 "activation text"로 적혀 있습니다. 이걸 빠뜨리면 파일은 불러왔는데 효과가 약한 상태가 됩니다. ■ 계열 일치 다시 강조하면, SD1.5용 LoRA는 SD1.5 체크포인트에서만, SDXL용은 SDXL에서만 동작합니다.

모델은 순식간에 쌓입니다. 초반에 습관을 들여두면 나중에 고생을 덜 합니다. ■ 파일명을 바꾸지 마세요 워크플로우 JSON은 파일명으로 모델을 찾습니다. 이름을 바꾸면 예전에 저장해둔 워크플로우가 전부 모델을 못 찾습니다. 정리하고 싶다면 하위 폴더를 만드는 편이 낫습니다. ComfyUI는 checkpoints 아래의 하위 폴더도 인식합니다. models/checkpoints/sdxl/....safetensors models/checkpoints/sd15/....safetensors ■ 쓰지 않는 모델 정리 받아만 두고 한 번도 쓰지 않은 모델이 반드시 생깁니다. 한 달에 한 번쯤 폴더를 열어 파일 접근 시각을 기준으로 정리하세요. 다시 필요하면 받으면 됩니다. ■ 어떤 설정으로 만들었는지 기록 ComfyUI로 만든 PNG에는 워크플로우 정보가 함께 저장됩니다. 그 이미지를 ComfyUI 화면에 끌어다 놓으면 당시 워크플로우가 그대로 복원됩니다. 마음에 든 결과의 원본 PNG를 지우지 마세요. 이것이 가장 확실한 기록 방법입니다. 단, 메신저나 SNS에 올린 이미지는 대부분 메타데이터가 제거되므로 복원되지 않습니다. 원본 파일을 따로 보관해야 합니다. ■ 백업 체크포인트는 다시 받으면 되지만, 직접 병합했거나 학습시킨 모델은 사라지면 끝입니다. 그런 파일만이라도 별도 보관하세요.