LoRA 사용법과 추천: 스타일을 자유롭게 적용하기

LoRA는 이미 학습된 모델에 얇은 층을 덧대어 특정 방향으로 치우치게 만드는 파일입니다. 정식 명칭은 Low-Rank Adaptation입니다. 체크포인트를 통째로 학습시키려면 수십 GB의 자원과 긴 시간이 듭니다. LoRA는 모델 전체가 아니라 일부 계층의 변화량만 저장하기 때문에 파일이 보통 50~300MB로 작습니다. 그래서 개인이 만들어 배포하기 쉽고, 그만큼 종류가 많습니다. ■ 무엇을 바꿀 수 있나 • 화풍 — 특정 일러스트레이터풍, 유화풍, 수채화풍 • 인물 — 특정 캐릭터나 얼굴의 일관성 • 의상과 사물 — 특정 복장, 특정 형태의 물건 • 개념 — 조명 방식, 카메라 앵글, 구도 경향 • 품질 보정 — 디테일을 늘리거나 특정 결함을 줄이는 용도 ■ 단독으로는 동작하지 않습니다 LoRA는 반드시 체크포인트 위에 얹어야 합니다. 그리고 학습에 쓰인 것과 같은 계열이어야 합니다. SD1.5용 LoRA를 SDXL 체크포인트에 얹으면 오류가 나거나 결과가 뭉개집니다. 배포 페이지의 기반 모델 표기를 반드시 확인하세요. ■ 임베딩과의 차이 임베딩(Textual Inversion)은 훨씬 작고 프롬프트의 단어처럼 동작합니다. 표현력은 LoRA가 넓습니다. 요즘은 대부분 LoRA를 쓰고, 임베딩은 부정 프롬프트용으로 남아 있는 정도입니다.

연결 순서를 틀리는 실수가 가장 흔합니다. 오류가 나지 않고 그냥 효과만 없기 때문에 알아채기 어렵습니다. 올바른 순서는 이렇습니다. Load Checkpoint의 MODEL과 CLIP 출력을 LoraLoader에 넣고, LoraLoader의 MODEL 출력을 KSampler로, CLIP 출력을 두 개의 CLIP Text Encode로 보냅니다. 흔한 실수는 체크포인트에서 곧바로 KSampler와 텍스트 인코더로 연결한 뒤, LoraLoader는 옆에 덩그러니 두는 것입니다. 이러면 LoRA를 불러오기만 하고 실제로는 지나가지 않습니다. "분명히 넣었는데 아무 변화가 없다"의 정체입니다. ■ 강도 두 가지 LoraLoader에는 값이 둘 있습니다. • strength_model — 그림 자체에 미치는 영향 • strength_clip — 프롬프트 해석에 미치는 영향 보통 둘을 같은 값으로 둡니다. 0.6~0.8에서 시작하세요. 1.0을 넘기면 대개 뭉개지거나 특정 특징이 과장됩니다. 효과가 약하면 0.1씩 올려가며 확인합니다. 화풍은 강하게 들어오는데 형태가 무너진다면 strength_model만 낮추고 strength_clip은 유지해보세요. 반대의 경우도 마찬가지입니다. ■ 여러 개 겹치기 LoraLoader를 사슬처럼 이어 붙입니다. 앞 노드의 출력이 뒤 노드의 입력으로 들어가는 식입니다. 겹칠 때는 각각을 낮춰야 합니다. 세 개를 0.8씩 넣으면 거의 확실히 무너집니다. 0.4~0.5 정도로 나누세요. 그리고 성격이 충돌하는 LoRA(예: 두 개의 강한 화풍)를 동시에 쓰면 어느 쪽도 제대로 나오지 않습니다.

많은 LoRA가 특정 단어를 프롬프트에 넣어야 제대로 작동합니다. 배포 페이지에 trigger words, activation text 같은 이름으로 적혀 있습니다. 이 단어를 빠뜨리면 파일은 정상적으로 불러왔는데 효과가 미미한 상태가 됩니다. LoRA가 안 듣는다고 느낄 때 강도를 올리기 전에 먼저 확인할 것이 이것입니다. ■ 가중치 문법 프롬프트 안에서 특정 부분의 비중을 조절할 수 있습니다. (masterpiece:1.2) — 1.2배 강조 (blurry:0.8) — 0.8배로 약화 트리거 단어가 잘 안 먹으면 여기에 가중치를 살짝 올려보세요. 다만 1.4를 넘기면 대개 부작용이 큽니다. ■ 순서도 영향을 줍니다 프롬프트 앞쪽에 있는 단어가 대체로 더 강하게 반영됩니다. LoRA의 트리거 단어는 앞쪽에 두는 편이 유리합니다. ■ 체크포인트와의 궁합 같은 LoRA도 어떤 체크포인트 위에 얹느냐에 따라 결과가 꽤 다릅니다. 배포 페이지의 예시 이미지가 어떤 체크포인트로 만들어졌는지 보고, 가능하면 같은 것으로 시작하세요. 그 뒤에 다른 체크포인트로 바꿔가며 비교하면 됩니다.

■ 고를 때 확인할 것 1. 기반 계열 — SD1.5인지 SDXL인지 Flux인지. 가장 중요합니다. 2. 권장 강도 — 제작자가 적어둔 값에서 시작하는 것이 시행착오를 줄입니다. 3. 트리거 단어 — 있으면 반드시 메모해두세요. 4. 예시 이미지의 설정 — 재현해보면 가장 빨리 감을 잡습니다. 5. 라이선스 — 상업적 이용 가능 여부가 LoRA마다 다릅니다. ■ 효과가 없을 때 점검 순서 1. 연결이 실제로 지나가는가 — 가장 흔한 원인입니다. 2. 트리거 단어를 넣었는가. 3. 계열이 체크포인트와 맞는가. 4. 강도가 너무 낮지 않은가. 5. 다른 LoRA와 충돌하지 않는가 — 하나만 남기고 확인해보세요. ■ 결과가 무너질 때 강도를 낮추는 것이 첫 번째입니다. 그래도 이상하면 체크포인트를 바꿔보세요. 특정 조합에서만 문제가 생기는 경우가 흔합니다. ■ 파일 관리 loras 폴더 안에 하위 폴더를 만들어 계열별로 나누면(sd15, sdxl) 나중에 헷갈리지 않습니다. ComfyUI는 하위 폴더를 인식합니다. 파일명은 바꾸지 마세요. 저장해둔 워크플로우가 파일명으로 LoRA를 찾기 때문에, 이름을 바꾸면 예전 워크플로우가 전부 깨집니다. ■ 얼마나 받아둘까 처음에는 자주 쓸 화풍 한두 개면 충분합니다. 수십 개를 받아두면 대부분 한 번도 쓰지 않은 채 남습니다. 필요를 느낄 때 받는 편이 낫습니다.