📌 AI 영상 캐릭터 고정 완전 정리 (실전 구조)

1️⃣ 핵심 문제 정의: 왜 캐릭터가 계속 바뀌는가

• AI는 확률 기반 생성 (seed 랜덤성) → 동일 프롬프트라도 결과 달라짐
• "은발 남자" → 매번 다른 얼굴 생성됨

👉 즉

AI는 ‘캐릭터’를 인식하지 않고 ‘조건 조합’을 생성한다

---

2️⃣ 캐릭터 일관성의 3대 원칙

✔ 1. 구체성

• vague ❌ → "handsome man"
• 구체 ✔ → 이름 + 디테일 조합

👉 핵심:

이름 + 머리 + 눈 + 얼굴 특징 + 액세서리

---

✔ 2. 반복

• 동일 속성 반복 → AI가 “하나의 개체”로 인식

👉 사실상:

반복 = identity 학습

---

✔ 3. 참조 이미지

• 텍스트보다 훨씬 강력
• 캐릭터 고정의 핵심 무기

---

3️⃣ 일관성 달성 수준 (현실 기준)

방법일관성

프롬프트만	60~70%
참조 이미지	75~85%
Face Embedding	85~92%
LoRA	90~97%
복합	93~98%

👉 결론:

진짜 고정은 LoRA + 임베딩 조합부터 시작

---

4️⃣ 캐릭터 고정 설계 (프롬프트 레벨)

🔹 Physical Anchor (핵심 개념)

👉 캐릭터 = ID 시스템

A man named Kael,
messy silver hair,
emerald eyes,
sharp jawline,
black leather choker

👉 구조화하면:

[이름] + [머리] + [눈] + [얼굴] + [아이템]

---

🔹 Negative Prompt (필수)

text, watermark, logo,
blurry, low quality,
distorted face, extra limbs,
multiple faces

👉 역할:

• 노이즈 제거
• 얼굴 변형 방지

---

5️⃣ 중급: 참조 이미지 & 얼굴 임베딩

🔹 Reference Image

• Midjourney → --cref
• Stable Diffusion → ControlNet / IP-Adapter

👉 효과:

텍스트 → 이미지 기준으로 전환

---

🔹 Face Embedding (핵심 기술)

기술특징

InstantID	간단 / 포즈 제한
IP-Adapter FaceID	가장 유연
PhotoMaker	여러 이미지 학습

👉 추천:

ComfyUI + IP-Adapter FaceID = 현재 최강 조합

---

6️⃣ 고급: LoRA 파인튜닝

🔹 개념

• 캐릭터를 모델에 “각인”하는 방식

👉 결과:

어떤 프롬프트에서도 동일 캐릭터 호출 가능

---

🔹 데이터 기준

• 이미지: 15~30장
• 각도: 정면/측면/전신
• 배경: 단순
• 표정: 다양

---

🔹 핵심 리스크

• 과적합 (Overfitting)

👉 증상:

• 특정 포즈에서만 잘 나옴

👉 해결:

• 다양한 데이터 확보

---

7️⃣ 영상 제작 핵심 (가장 중요한 부분)

🔥 핵심 전략:

이미지 → 영상 (I2V pipeline)

---

🔹 워크플로우

1. 캐릭터 이미지 생성
2. 최고 결과 선택
3. 영상 생성 입력
4. 모션 적용
5. 반복 개선

---

🔹 영상 문제 & 해결

문제해결

얼굴 깨짐	클로즈업 최소화
깜빡임	motion strength 낮춤
드리프트	3~5초 단위 분할
배경 변화	단순 배경

👉 핵심:

영상은 “짧게 쪼개서 만든다”

---

8️⃣ 툴 선택 전략

🔹 이미지

도구특징

Midjourney	쉬움 / 품질 최고
Stable Diffusion	커스터마이징 최강
Flux	최신 / 고성능
DALL-E	접근성 최고

---

🔹 영상

도구특징

Kling AI	캐릭터 고정 강함
Runway	영상 품질
Pika	간단
Hailuo	긴 영상
Wan (오픈소스)	로컬

---

🔥 추천 조합

👉 입문:

Midjourney + Kling

👉 고급:

ComfyUI + LoRA + IP-Adapter

---

9️⃣ 영상 연결 (스토리 연속성)

🔹 Environment Anchor

Kael + action + misty forest + dim dawn light

👉 배경 + 조명 반복 = 연속성

---

🔹 Direction Flow

• 시선/동작 이어야 자연스러움

---

🔹 핵심 트릭

이전 영상 마지막 프레임 → 다음 영상 시작 이미지

---

🔟 실패 패턴 (중요)

❌ 프롬프트 길면 망함

👉 핵심은 앞에 배치

---

❌ 참조 이미지 스타일 충돌

👉 cw 값 조정

---

❌ LoRA 포즈 고정됨

👉 데이터 다양화

---

❌ 영상 중 얼굴 바뀜

👉 짧게 끊어서 생성

---

11️⃣ 실전 템플릿

🔹 기본 생성

A [gender] named [Name],
with [features],
[action],
[background],
[lighting],
cinematic [shot],
9:16

---

🔹 영상 시리즈

• feature / background / lighting 동일 유지

---

🔹 Midjourney

--cref URL --cw 100

---

🚀 최종 핵심 요약 (가장 중요)

👉 이 문서의 본질은 3줄로 정리됨

1️⃣ 캐릭터 = ID 시스템

• 이름 + 특징 반복

2️⃣ 진짜 고정 = 이미지 기반

• 텍스트만으로는 한계

3️⃣ 영상은 분할 제작

• 한 번에 만들면 무조건 깨짐

---

💡 당신에게 중요한 포인트 (개발자 관점)

지금 흐름 보면 이건 그냥 콘텐츠가 아니라:

👉 AI 캐릭터 상태 관리 시스템 문제

구조적으로 보면:

Character = ID + Embedding + LoRA
Scene = Environment Anchor
Video = Sequence(State Transition)

즉 이건:

“멀티 에이전트 상태 유지 문제”랑 동일한 구조