ComfyUI 초보자 가이드: 설치부터 첫 이미지 생성까지

ComfyUI는 Stable Diffusion 계열 모델로 이미지를 만들기 위한 노드 기반 인터페이스입니다. Automatic1111 WebUI가 "설정값을 입력하는 폼"이라면, ComfyUI는 "처리 과정을 직접 연결하는 배선도"에 가깝습니다. 예를 들어 이미지 한 장을 만드는 과정은 실제로 이런 단계를 거칩니다. 모델을 메모리에 올리고 → 입력한 문장을 숫자 벡터로 바꾸고 → 노이즈에서 시작해 여러 번 반복하며 형태를 잡고 → 그 결과를 사람이 볼 수 있는 픽셀로 변환합니다. 다른 도구는 이 과정을 하나의 버튼 뒤에 감추지만, ComfyUI는 각 단계를 노드로 꺼내 보여줍니다. 그래서 다음과 같은 일이 가능해집니다. • 특정 단계만 바꿔 실험할 수 있습니다. 예를 들어 샘플러만 교체하고 나머지는 그대로 두는 식입니다. • 완성한 워크플로우를 JSON 파일 하나로 저장하고 남에게 그대로 전달할 수 있습니다. • 업스케일, ControlNet, LoRA 같은 기법을 원하는 위치에 끼워 넣을 수 있습니다. • 필요한 노드만 실행하므로 VRAM이 적은 그래픽카드에서도 돌릴 여지가 생깁니다. 대신 진입 장벽이 있습니다. 첫 화면이 빈 캔버스라 무엇부터 놓아야 할지 막막합니다. 이 가이드는 그 첫 단계를 넘기는 데 초점을 맞춥니다.

가장 중요한 것은 그래픽카드의 VRAM입니다. 시스템 RAM이 아니라 GPU에 달린 전용 메모리를 말합니다. VRAM별로 현실적으로 무엇이 가능한지 정리하면 다음과 같습니다. • 4GB: SD1.5 모델로 512×512 생성이 가능합니다. 실행 시 저사양 옵션이 필요합니다. • 6~8GB: SD1.5는 여유롭고, SDXL도 저사양 옵션을 주면 1024×1024가 돌아갑니다. • 10~12GB: SDXL을 옵션 없이 편하게 쓸 수 있습니다. 대부분의 사용자에게 권장되는 구간입니다. • 16GB 이상: Flux 계열이나 짧은 영상 생성까지 시도할 수 있습니다. • 24GB 이상: 대부분의 워크플로우를 제약 없이 돌릴 수 있습니다. 그 밖의 요구사항입니다. • 운영체제: Windows 10/11, macOS, Linux • 시스템 RAM: 16GB 권장. 8GB에서도 되지만 모델을 바꿀 때 느려집니다. • 저장공간: ComfyUI 자체는 몇 GB지만 모델 파일이 큽니다. SD1.5 체크포인트는 2~7GB, SDXL은 6~7GB, Flux는 12~24GB입니다. 여유 있게 100GB를 확보하는 편이 좋습니다. • Python 3.10 이상, Git NVIDIA 이외의 환경도 가능합니다. AMD는 Linux에서 ROCm, Windows에서 DirectML을 씁니다. Apple Silicon 맥은 MPS 백엔드로 동작하지만 같은 등급의 NVIDIA 카드보다 느립니다. GPU 없이 CPU만으로도 실행은 되지만, 이미지 한 장에 수 분에서 수십 분이 걸려 실용적이지 않습니다.

설치 방법은 크게 셋입니다. 처음이라면 첫 번째나 두 번째를 권합니다. ■ 방법 1: ComfyUI Studio 원클릭 설치 (가장 쉬움) 이 사이트의 설치 탭에서 스크립트를 내려받아 실행하면 Python, Git, ComfyUI, 기본 모델까지 한 번에 준비됩니다. 명령어를 직접 입력할 필요가 없습니다. ■ 방법 2: 공식 포터블 버전 (윈도우 + NVIDIA) ComfyUI 깃허브 릴리스 페이지에서 포터블 압축 파일을 내려받아 원하는 폴더에 풀면 끝입니다. Python을 따로 설치하지 않아도 됩니다. 압축을 푼 폴더에서 NVIDIA용 실행 파일을 더블클릭하면 서버가 뜹니다. 주의할 점은 압축 해제 위치입니다. 한글이나 공백이 포함된 경로, 그리고 바탕화면이나 다운로드처럼 클라우드 동기화가 걸린 폴더는 피하세요. 예상치 못한 오류의 흔한 원인입니다. ■ 방법 3: 수동 설치 (맥, 리눅스, 또는 직접 관리하고 싶을 때) 터미널에서 순서대로 실행합니다. git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv 가상환경을 활성화합니다. 윈도우는 venv\Scripts\activate, 맥과 리눅스는 source venv/bin/activate 입니다. 이어서 PyTorch를 설치합니다. 이 부분은 환경마다 명령이 다르므로 PyTorch 공식 사이트에서 자신의 환경에 맞는 명령을 확인해 그대로 복사하는 것이 가장 안전합니다. 마지막으로 나머지 의존성을 설치하고 실행합니다. pip install -r requirements.txt python main.py 터미널에 주소가 출력되면 브라우저에서 http://127.0.0.1:8188 로 접속합니다. ■ 설치 직후 꼭 할 일: ComfyUI Manager ComfyUI Manager는 커스텀 노드를 검색해 설치해주는 확장입니다. 이것 없이 손으로 관리하면 금방 지칩니다. custom_nodes 폴더에서 저장소를 복제한 뒤 ComfyUI를 재시작하면 화면에 Manager 버튼이 생깁니다. cd custom_nodes git clone https://github.com/ltdrdata/ComfyUI-Manager.git

ComfyUI를 설치해도 모델이 없으면 아무것도 만들 수 없습니다. 모델은 종류별로 정해진 폴더에 넣어야 인식됩니다. • models/checkpoints — 체크포인트(본체 모델). 가장 먼저 필요한 것입니다. • models/loras — LoRA. 특정 화풍이나 캐릭터를 덧입히는 작은 파일입니다. • models/vae — VAE. 별도 파일이 필요한 모델에만 씁니다. • models/controlnet — ControlNet. 포즈나 윤곽을 지정할 때 씁니다. • models/upscale_models — 업스케일 모델. 파일을 넣은 뒤에는 ComfyUI 화면을 새로고침해야 목록에 나타납니다. 그래도 안 보이면 확장자를 확인하세요. .safetensors 또는 .ckpt여야 하며, 브라우저가 파일명 뒤에 .txt 같은 것을 붙여 저장한 경우가 종종 있습니다. 처음 받을 모델을 고를 때는 이렇게 생각하면 쉽습니다. VRAM이 8GB 미만이면 SD1.5 계열이 안전합니다. 파일이 작고 빠르며 관련 자료도 가장 많습니다. 8GB 이상이면 SDXL 계열이 기본 해상도 1024×1024로 더 좋은 결과를 냅니다. 사진처럼 사실적인 결과나 이미지 안의 글자가 중요하다면 Flux 계열이 강하지만 VRAM을 많이 요구합니다. 모델마다 권장 해상도가 다르다는 점도 중요합니다. SD1.5에 1024×1024를 요구하면 인물이 여럿 겹쳐 나오는 등 결과가 무너집니다. SD1.5는 512 근처, SDXL은 1024 근처가 기준입니다.

가장 단순한 이미지 생성 워크플로우는 다섯 개의 노드로 이루어집니다. 이 다섯 개만 이해하면 나머지는 응용입니다. 1. Load Checkpoint — 모델 파일을 불러옵니다. 출력이 세 갈래(MODEL, CLIP, VAE)로 나뉘어 각각 다른 노드로 연결됩니다. 2. CLIP Text Encode — 입력한 문장을 모델이 이해하는 형태로 바꿉니다. 두 개가 필요합니다. 하나는 원하는 것(긍정), 하나는 피하고 싶은 것(부정)입니다. 3. Empty Latent Image — 결과물의 크기와 장수를 정합니다. 여기서 지정한 폭과 높이가 최종 해상도가 됩니다. 4. KSampler — 실제로 이미지를 만들어내는 핵심입니다. 아래에서 따로 설명합니다. 5. VAE Decode → Save Image — 만들어진 데이터를 눈에 보이는 이미지로 바꿔 저장합니다. KSampler의 주요 설정값은 다음과 같습니다. • steps(단계 수): 몇 번 다듬을지입니다. 20~30이 무난합니다. 무작정 올려도 어느 지점부터는 좋아지지 않고 시간만 늘어납니다. • cfg: 프롬프트를 얼마나 강하게 따를지입니다. 7 안팎이 기본입니다. 너무 높이면 색이 타고 형태가 부자연스러워집니다. 참고로 Flux 계열은 구조가 달라 1.0을 씁니다. • sampler_name: 결과의 성향을 정합니다. 무엇을 골라야 할지 모르겠다면 euler나 dpmpp_2m으로 시작하세요. • seed: 같은 설정에 같은 시드를 주면 같은 그림이 나옵니다. 마음에 든 결과를 재현하거나, 한 부분만 바꿔 비교할 때 씁니다. • denoise: 처음부터 만들 때는 1.0입니다. 기존 이미지를 변형할 때만 0.4~0.7 정도로 낮춥니다. 이 사이트의 생성기를 쓰면 위 구성이 이미 연결된 JSON을 바로 받을 수 있습니다.

직접 노드를 배치하기 전에, 완성된 워크플로우를 불러와 실행해보는 편이 훨씬 빠릅니다. 1. 이 사이트의 생성기에서 만들고 싶은 유형을 고릅니다. 2. 해상도, 샘플러, 모델 등을 확인하고 필요하면 조정합니다. VRAM을 입력해두면 그에 맞게 값이 제안됩니다. 3. 생성 버튼을 누르면 워크플로우 JSON이 만들어집니다. 4. 내려받은 JSON 파일을 ComfyUI 화면에 끌어다 놓거나, 복사한 내용을 화면에서 Ctrl+V로 붙여 넣습니다. 5. Load Checkpoint 노드에서 실제 보유한 모델 파일이 선택되어 있는지 확인합니다. 파일명이 다르면 목록에서 다시 고릅니다. 6. Queue Prompt를 눌러 실행합니다. 첫 실행은 모델을 메모리에 올리느라 30초에서 1분 정도 걸립니다. 같은 모델로 이어서 만들면 이후에는 훨씬 빨라집니다. 결과가 나왔다면 다음 순서로 익히기를 권합니다. 먼저 시드를 고정한 채 프롬프트만 조금씩 바꿔봅니다. 어떤 단어가 무엇을 바꾸는지 감이 옵니다. 그다음 시드를 고정하고 steps와 cfg만 바꿔봅니다. 마지막으로 샘플러를 바꿔 성향 차이를 봅니다. 여러 값을 한꺼번에 바꾸면 무엇 때문에 달라졌는지 알 수 없습니다.

처음 며칠 동안 만나게 될 문제는 대부분 아래 몇 가지입니다. ■ CUDA out of memory VRAM이 부족하다는 뜻입니다. 순서대로 시도하세요. 먼저 해상도를 낮춥니다. 1024×1024를 768×768로만 바꿔도 체감이 큽니다. 그다음 한 번에 만드는 장수를 1로 줄입니다. 그래도 부족하면 ComfyUI 실행 시 저사양 옵션을 붙입니다. python main.py --lowvram 이보다 더 부족하면 --novram 옵션이 있습니다. 느리지만 실행은 됩니다. 크롬 탭이나 게임 등 GPU를 쓰는 다른 프로그램을 닫는 것도 의외로 효과가 큽니다. ■ 노드가 빨간 테두리로 표시됨 설치되지 않은 커스텀 노드를 요구하는 워크플로우입니다. ComfyUI Manager의 누락 노드 설치 기능을 쓰면 대부분 해결됩니다. 설치 후에는 ComfyUI를 완전히 재시작해야 합니다. ■ 모델 목록이 비어 있음 파일 위치와 확장자를 확인하세요. models/checkpoints 폴더에 .safetensors 파일이 있어야 합니다. 폴더가 맞는데도 안 보이면 브라우저를 새로고침하고, 그래도 안 되면 ComfyUI를 재시작합니다. ■ 결과가 회색이나 검은색 단색으로 나옴 일부 구형 그래픽카드에서 계산 정밀도 문제로 발생합니다. 실행 시 --force-fp16 또는 --no-half-vae 옵션을 시도해보세요. 다른 VAE 파일로 바꾸면 해결되는 경우도 있습니다. ■ 인물이 여러 명 겹치거나 몸이 늘어남 모델의 권장 해상도를 벗어난 경우입니다. SD1.5 모델에 1024 이상을 요구하면 흔히 나타납니다. 기준 해상도로 만든 뒤 업스케일하는 방식으로 바꾸세요. ■ 브라우저에서 접속이 안 됨 터미널 창이 여전히 떠 있는지 확인하세요. 창을 닫으면 서버도 종료됩니다. 주소는 http://127.0.0.1:8188 이며, 8188 포트를 다른 프로그램이 쓰고 있다면 --port 8189 처럼 바꿔 실행할 수 있습니다.

기본 생성이 익숙해졌다면 다음 순서로 넓혀가면 무리가 없습니다. 1. 업스케일 — 작게 만든 뒤 키우는 방식입니다. VRAM을 아끼면서 큰 이미지를 얻는 가장 현실적인 방법입니다. 2. LoRA — 원하는 화풍이나 캐릭터를 덧입힙니다. 파일이 작아 부담이 적고 효과는 확실합니다. 3. img2img와 인페인팅 — 기존 이미지를 변형하거나 일부만 고쳐 그립니다. 4. ControlNet — 포즈나 구도, 윤곽선을 지정해 결과를 통제합니다. 원하는 자세를 정확히 얻고 싶을 때 필수입니다. 5. 영상 생성 — VRAM 요구가 크게 올라가므로 마지막에 시도하세요. 각 주제는 이 사이트의 다른 가이드에서 자세히 다룹니다. 아래 관련 가이드 목록에서 이어서 읽어보세요. 마지막으로 초보자가 가장 많이 하는 실수 하나만 짚겠습니다. 남의 워크플로우를 그대로 가져다 쓰면서 자기 환경에 맞게 두 가지를 바꾸지 않는 것입니다. 하나는 Load Checkpoint의 모델 파일명이고, 다른 하나는 해상도입니다. 이 둘만 확인해도 "왜 안 되지" 하는 시간의 절반은 줄어듭니다.