Seedance2로 스토리 애니메이션 제작

1. 캐릭터 디자인

먼저, 우리 캐릭터를 만들어보겠습니다. 저는 두 가지 방법을 사용합니다:

a) MJ에서 캐릭터 시트를 생성

이것은 피닉스를 만들 때 제가 사용한 방법입니다:

프롬프트: 거대한 피닉스 생물의 캐릭터 시트, 사나운 괴물, 전통적인 어드벤처 캐릭터 스타일, 고도로 스타일화된, 정면 뷰, 측면 뷰, 뒷면 뷰와 측면, 정면, 뒷면 뷰의 3가지 클로즈업 포함

b) MJ에서 고품질 애니메이션 스타일의 스틸 프레임을 생성하고, Nano Banana에서 이를 기반으로 캐릭터 시트를 만듦

MJ가 무작위로 캐릭터를 상상하게 해서 여러 생성물 중에서 마음에 드는 것을 선택할 수 있습니다. 이 경우, 다른 비디오를 위한 무작위 테스트에서 MJ가 제가 아주 마음에 들어 하는 캐릭터 이미지를 생성했기 때문에, 이 비디오에 사용하기로 결정했습니다:

프롬프트: anime japanese shot, background is impasto technique and character traditiona 90 celuloid filmanime japanese shot, background is impasto technique and character traditional 90 celuloid film

그 다음, 이 이미지를 Seedream 4.5에 업로드해서 이미지로부터 캐릭터 시트를 만들었습니다.

프롬프트: 이 캐릭터의 캐릭터 시트를 고도로 스타일화된 형태로 생성, 전신 정면 뷰, 측면 뷰, 뒷면 뷰와 중립, 행복, 결의, 분노 표정의 4가지 클로즈업 포함, 흰색 배경. 100% 아트 스타일과 캐릭터 특성을 유지. 이미지 1을 참조로 사용

팁: 애니메이션 이미지를 편집하거나 생성할 때 Nano Banana, Seedream 4.5, Flux Flex/Pro/Max를 번갈아 사용합니다. Seedream 4.5는 특히 원본 아트 스타일을 존중하면서 참조로부터 이미지를 생성하는 데 탁월합니다.

2. 디자인 환경 및 아트 스타일

일반적으로 보이지 않는 어드벤처 스타일의 환경을 원했으며, 흙빛 색상과 상세한 그라데이션 그림자로 가득 찬 일러스트레이션 스타일의 많은 디테일을 포함했습니다.

제가 좋아하는 아트 스타일과 색상 팔레트를 가진 랜덤한 MJ 생성물에서 참조 이미지를 가져왔습니다.

프롬프트: 고품질 만화 패널 일러스트레이션, 고도로 스타일화된, 풀 컬러, 카메라를 직접 향한 어깨의 히어로 포즈, 움직임의 한가운데, 눈높이 카메라, 공기 중에서 움직이는 옷, 멀리서 본 와이드 샷, 캐릭터가 검을 뽑는 중

그 다음, 아트 스타일을 가진 참조 이미지를 사용하면 세팅을 생성하는 데 상세한 프롬프트가 필요하지 않았습니다—MJ의 "Image Prompts" 탭에 참조 이미지를 업로드하기만 하면 됩니다.

프롬프트: 와이드 샷, 풀 컬러 애니메이션 샷, 환경, 숲

3. Nano Banana에서 스토리보드 생성

캐릭터(들)의 참조 이미지를 업로드하고 Nano Banana Pro가 스토리보드를 생성할 수 있도록 샷 리스트를 제공하세요.

프롬프트:

액션 사쿠가 장면이 있습니다. 일본 스타일의 싸움으로, 전형적인 소년 만화 히어로인 십대 소녀가 두 마리의 거대한 새와 대결합니다. 액션은 다음과 같이 시작합니다:

1. 영웅이 공격 자세로 있는, 원근법이 많이 들어간 샷,

2. 두 마리 새의 매우 강한 전경법 샷,

3. 얼굴의 클로즈업 샷,

4. 새의 반사가 들어간 눈의 디테일 샷,

5. 소녀의 역동적인 싸움 움직임을 담은 와이드 샷,

6. 카메라를 향한 공격 샷,

7. 십대 소녀가 두 마리 새와 싸우는 와이드 샷,

8. VFX가 들어간 슬로우 모션의 타격 샷,

9. 마지막으로 소녀의 히어로 포즈와 함께 두 마리 새가 바닥에 쓰러진 장면.

이 장면의 3x3 스토리보드를 만들어 주세요. 패널은 장면의 스케치만으로, 세부 사항 없이 간단하게 그려 주세요. 매우 역동적이고 영웅적인 포즈에 많은 강조를 두고, 주인공이 매우 스타일화된 포즈를 취하는 소년 만화 스타일의 샷으로, 움직임 선이 뚜렷하고 원근법의 전경법이 강조되도록 해 주세요.

스토리보드는 세부 사항 없는 스케치여야 합니다. 이미지 1은 십대 캐릭터의 비율 참조입니다.

4. Seedance에 모든 입력 재료 제공

기본적인 장면 프롬프트를 만들고 ChatGPT나 Gemini 같은 LLM에게 Seedance용 구체적이고 상세한 프롬프트를 여러 옵션으로 생성해 달라고 요청하세요.

프롬프트: Seedance 2.0에서 애니메이션 비디오 장면을 만들고 싶습니다. 참조 이미지로 업로드된 것들이 있는데, 십대 소녀의 캐릭터 시트와 피닉스 새의 시트, 스토리보드 이미지, 그리고 숲 배경 이미지가 포함되어 있습니다. 이 장면은 일본 스타일의 모험 시리즈에서 나온 액션 장면입니다. 이미지를 분석하고 Seedance가 애니메이션 비디오를 생성할 수 있도록 프롬프트를 반환해 주세요. 배경의 예술적 스타일을 사용하고 스토리보드의 샷 구성을 엄격히 준수하는 데 중점을 두세요.

Gemini/ChatGPT가 제공한 적응된 프롬프트 옵션을 테스트하고 가장 좋은 결과를 보이는 것을 사용하세요.

최종 프롬프트:

참조를 엄격한 우선순위와 역할 분리로 사용하세요:

[REF_STORYBOARD] = "Image1" 샷 순서, 프레임, 타이밍, 구성, 장면 진행에 대한 주요 가이드. 이를 엄격히 따르세요.

[REF_GIRL_MODEL] = "Image2" 십대 소녀의 정체성 앵커.

[REF_PHOENIX_MODEL] "Image 3" 피닉스의 생물 정체성 앵커.

[REF_BACKGROUND] = "Image 4" 환경 및 숲 배경 앵커.

숲에서 십대 소녀가 두 마리의 피닉스 새와 싸우는 일본 애니메이션 액션 장면을 만드세요.

절대 우선순위:

1. 모든 샷과 장면 진행에 대해 스토리보드를 엄격히 따르세요.

2. 소녀 디자인을 [REF_GIRL_MODEL]에 고정하세요.

3. 피닉스 디자인을 [REF_PHOENIX_MODEL]에 고정하세요.

4. 숲과 길을 [REF_BACKGROUND]와 일관되게 유지하세요.

5. 여러 세대 편집하기

Seedance가 여러 컷으로 구성된 비디오를 반환하기 때문에, 일부 샷은 불일치가 있거나 다른 샷보다 더 나쁘게 보일 수 있습니다. 여러 세대를 생성한 후 각 비디오에서 마음에 드는 샷을 잘라 편집 소프트웨어에서 편집하게 됩니다.

저는 DaVinci Resolve를 사용합니다. 왜냐하면 이는 영화에서 사용되는 전문 소프트웨어이고, 무료이기 때문입니다.

출처 : https://x.com/voxelplot/status/2043645442597007721