ControlNet 완벽 가이드: 유형별 활용법

프롬프트로는 전달할 수 없는 것들이 있습니다. "왼팔을 들고 오른쪽을 바라보는 자세"를 아무리 자세히 적어도 모델은 매번 다른 포즈를 그립니다. 건물의 원근을 지정하거나, 스케치의 선을 그대로 따르게 하는 것도 마찬가지입니다. ControlNet은 참조 이미지에서 구조 정보만 뽑아내 생성 과정에 강제로 주입합니다. 색이나 화풍은 프롬프트와 모델이 정하고, 형태와 배치는 참조 이미지가 정하는 분업입니다. ■ 두 단계로 나뉩니다 1. 전처리 — 참조 이미지에서 필요한 정보만 추출합니다. 윤곽선만 남기거나, 관절 위치만 뽑거나, 깊이를 회색조로 바꾸는 작업입니다. 2. 적용 — 추출한 정보를 조건에 섞어 샘플링에 반영합니다. 많은 워크플로우가 전처리 노드를 함께 담고 있는데, 이 노드들은 대부분 커스텀 노드(ControlNet Auxiliary Preprocessors)에 들어 있습니다. 빨간 노드가 보인다면 이것이 설치되지 않은 것입니다. ■ 연결 구조 두 개의 CLIP Text Encode 출력이 ControlNetApplyAdvanced로 들어가고, 여기에 ControlNetLoader와 전처리된 이미지가 함께 연결됩니다. 나온 긍정·부정 출력을 KSampler로 보냅니다. 즉 조건이 KSampler로 가는 길목에 끼어드는 형태입니다. ■ 계열을 반드시 맞추세요 SD1.5용 ControlNet은 SDXL 체크포인트에서 동작하지 않습니다. 오류가 나거나 결과가 뭉개집니다. 다운로드 페이지에서 기반 계열을 확인하세요.

종류가 많지만 실제로 자주 쓰는 것은 대여섯 개입니다. ■ Canny — 윤곽선 이미지를 선으로 바꿔 그 선을 따라 그리게 합니다. 형태를 가장 엄격하게 유지합니다. 제품 사진의 형태를 지키면서 배경만 바꾸거나, 로고·도형의 윤곽을 정확히 유지할 때 씁니다. 전처리에서 임계값 두 개를 조정합니다. 선이 너무 많이 잡히면 낮은 임계값을 올리고, 필요한 선이 빠지면 내립니다. ■ Depth — 깊이 가까운 곳은 밝게, 먼 곳은 어둡게 표현한 회색조 이미지를 씁니다. 공간의 배치와 원근을 유지합니다. 실내 장면의 구조를 유지하며 인테리어만 바꾸거나, 인물과 배경의 거리감을 지킬 때 적합합니다. Canny보다 느슨해서 결과가 자연스럽습니다. ■ OpenPose — 자세 사람의 관절 위치를 막대 인형처럼 추출합니다. 얼굴 방향과 손가락까지 포함하는 버전도 있습니다. 원하는 포즈가 명확할 때 가장 확실한 방법입니다. 여러 인물이 있으면 각각의 자세를 모두 잡아줍니다. 옷이나 체형은 통제하지 않으므로 그건 프롬프트로 지정합니다. ■ Lineart / Scribble — 선화 직접 그린 선화나 낙서를 완성된 그림으로 만듭니다. Scribble은 훨씬 거친 입력도 받아들입니다. 그림을 못 그려도 대략의 배치만 스케치하면 되므로 구도를 잡는 데 유용합니다. ■ Tile — 디테일 보강 업스케일할 때 함께 씁니다. 원본 타일을 참조해 세부를 다시 그리므로, 단순 확대보다 훨씬 선명한 결과가 나옵니다. ■ Inpaint 마스크 영역을 다시 그릴 때 주변 맥락을 더 잘 반영하게 돕습니다.

ControlNet을 넣었는데 결과가 뻣뻣하거나 반대로 거의 반영되지 않는다면, 대부분 이 세 값의 문제입니다. ■ strength (강도) 얼마나 강하게 따를지입니다. • 1.0 — 매우 엄격합니다. 참조 구조를 거의 그대로 재현하지만 그림이 경직될 수 있습니다. • 0.7~0.9 — 가장 많이 쓰는 구간입니다. 구조는 지키되 자연스러움이 남습니다. • 0.4~0.6 — 참고 수준입니다. 대략의 배치만 가져오고 나머지는 모델이 정합니다. 결과가 어색하면 먼저 이 값을 0.1씩 내려보세요. ■ start_percent / end_percent (적용 구간) 전체 샘플링 과정 중 어느 구간에서 ControlNet을 적용할지 정합니다. 0.0~1.0이 전체입니다. 0.0~0.7로 두면 초반과 중반에만 관여하고 후반은 모델이 자유롭게 마무리합니다. 큰 구조는 지키면서 세부는 자연스러워지므로, 결과가 딱딱할 때 가장 효과적인 조정입니다. 반대로 0.3~1.0처럼 후반에만 적용하면 구조 통제력이 약해집니다. ■ 전처리 품질 ControlNet이 잘 안 듣는다면 전처리 결과부터 확인하세요. 전처리 노드의 출력을 PreviewImage로 뽑아 눈으로 보면 됩니다. Canny에서 선이 거의 안 잡혔거나, OpenPose가 사람을 인식하지 못했다면 그 뒤 단계는 아무 의미가 없습니다. 참조 이미지의 해상도가 너무 낮거나 인물이 작으면 전처리가 실패합니다.

ControlNetApplyAdvanced를 이어 붙이면 여러 통제를 동시에 걸 수 있습니다. 자주 쓰는 조합입니다. • OpenPose + Depth — 자세는 정확히, 공간감도 유지. 인물 사진에 유용합니다. • Canny + Tile — 형태를 지키면서 업스케일. 제품 이미지에 적합합니다. • Lineart + Depth — 선화를 채색하면서 입체감 유지. ■ 겹칠 때 주의할 점 각각의 strength를 낮춰야 합니다. 두 개를 모두 1.0으로 두면 서로 충돌해 결과가 무너집니다. 두 개라면 0.5~0.7씩, 세 개라면 0.4 안팎으로 나누는 것이 안전합니다. 그리고 서로 모순되는 정보를 주지 마세요. 다른 사람의 포즈와 다른 장면의 깊이를 함께 넣으면 어느 쪽도 제대로 반영되지 않습니다. ■ 실패했을 때 진단 순서 1. 전처리 출력을 눈으로 확인 — 정보가 제대로 추출됐는가. 2. ControlNet 모델의 계열이 체크포인트와 맞는가. 3. strength를 낮춰본다. 4. end_percent를 0.7 정도로 줄여본다. 5. ControlNet을 하나만 남기고 나머지를 꺼본다 — 어느 것이 문제인지 특정할 수 있습니다.

■ 같은 인물로 여러 장 만들기 OpenPose로 포즈만 바꿔가며 같은 프롬프트와 시드를 쓰면 어느 정도 일관성이 유지됩니다. 완벽한 동일 인물은 어렵지만, LoRA와 함께 쓰면 실용적인 수준이 됩니다. ■ 스케치에서 완성작으로 종이에 대충 그린 구도를 사진으로 찍어 Scribble에 넣습니다. 선이 삐뚤어도 괜찮습니다. 배치만 전달되면 나머지는 모델이 그립니다. 구도를 머리로만 상상하는 것보다 훨씬 빠릅니다. ■ 기존 사진의 화풍만 바꾸기 Depth나 Canny로 구조를 잡고, 프롬프트로 원하는 화풍을 지정합니다. img2img보다 원본 구조를 정확히 유지하면서 화풍은 완전히 바꿀 수 있습니다. ■ 업스케일 품질 올리기 Tile ControlNet을 두 번째 샘플링에 넣으면 확대 과정에서 디테일이 살아납니다. 단순 업스케일 모델만 쓸 때보다 결과가 확연히 좋습니다. ■ 참조 이미지 준비 요령 인물이 화면에서 너무 작으면 OpenPose가 관절을 못 잡습니다. 필요한 부분을 잘라내 크게 만든 뒤 넣으세요. 그리고 참조 이미지의 비율과 생성 해상도의 비율을 맞추는 편이 좋습니다. 세로 사진을 참조하면서 가로로 생성하면 구조가 눌리거나 늘어납니다.