음성 대화로 쇼츠영상 제작하기(Codex)

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 음성 대화만으로 쇼츠 영상을 만드는 과정을 직접 해봤습니다.

음성 대화로 쇼츠영상 제작하기

오늘은 Codex와 음성으로 대화하며 세로형 쇼츠를 만들어 보았습니다. 제 사진 한 장을 주고 제가 지시한 내용대로 영상을 생성하고 편집까지 해주었습니다. 최종 영상이 나오기까지의 과정도 함께 공유드립니다.

영상 생성 전에 해야할 것

1. Higgsfield 플러그인 연결하기

먼저 Codex의 플러그인에서 Higgsfield를 설치합니다. 이미지와 영상을 실제로 생성하려면 Higgsfield 유료 구독과 계정 로그인이 필요합니다. 플러그인을 연결하면 대화 중에 캐릭터 시트와 영상 생성을 요청할 수 있습니다.

2. video-use 편집 스킬 설치하기

생성된 여러 장면을 하나의 쇼츠로 연결하려면 video-use 스킬을 사용합니다. Codex에게 아래처럼 GitHub 저장소 링크와 함께 설치를 요청하면 됩니다.

오늘의 프롬프트 1:

음성대화로 영상 생성해보기

앞의 두 가지를 완료했다면, 새 채팅을 열고 아래 이미지에서 붉은색 박스로 표시된 음성 대화 시작 버튼을 누릅니다.

이번 실습에서는 인물 사진을 전달한 뒤, 아래 내용을 음성으로 설명했습니다.

오늘의 프롬프트 2(음성 대화):

Codex는 먼저 같은 인물이 장면마다 유지되도록 정면·측면·후면을 담은 캐릭터 시트를 만들었습니다.

이어서 거실의 침체, 결심, 문을 여는 전환, 햇빛을 맞는 엔딩 영상을 각각 생성했고, 하나의 영상으로 편집해주었습니다. 아래 영상을 보시면 작업을 하는 동안 어떤 식으로 진행되고 있는지 음성으로 확인할 수 있습니다.

마무리

1. 오늘 소개드린 것과 같이 ​음성대화만으로, 코덱스에 연결된 힉스필드에서 이미지와 영상을 생성하고 하나의 영상으로 편집하는 것까지 가능합니다. 이미지 생성에는 나노 바나나 프로가 사용되었고, 영상 생성에는 Seedance 2.0 모델이 사용되었습니다. 제가 따로 지시한 것은 아니고, 알아서 해당 모델을 선택하여 작업하였습니다.
2. 말 그대로 손을 대지 않고 하나의 영상이 뚝딱 만들어졌습니다. 작업하는 동안 궁금한 것을 음성으로 물어보는 경험이 매우 좋았는데요, 마치 옆 자리에 앉은 동료에게 '어떻게 되어가고 있어?'라고 물어보는 것과 같은 느낌입니다.
3. 사람의 눈이 예민하기 때문에 ​인물이 조금만 달라져도 금방 알아채는데요, 특히나 오늘은 제 사진을 사용했기 때문에 영상 속의 인물이 저처럼 느껴지지 않았습니다. 그래서 인물의 일관성을 유지시키려면, 동일 인물로 착각하게끔 만드는 트릭이 필요합니다. 예를 들면 머리의 스타일과 컬러, 혹은 악세사리가 해당될 수 있겠습니다. 806회 뉴스레터에서 다뤘던 힉스필드의 장편영화의 등장 인물은 아래 이미지처럼 코에 밴드를 붙이고 있거나 노란 머리를 하고 있습니다.

4. 완성도 있는 영상을 만들려면 마음에 드는 영상이 나올 때까지 재생성을 하거나, 편집 과정에서 영상의 호흡을 신경써서 편집해야 합니다. 그러나 결과물이 무엇이 되었건 상관이 없다면, 오늘과 같은 방식으로 하루종일 숏폼을 찍어낼 수 있을 것입니다.
   인간은 편리함을 경험하면 그 이전으로 돌아가지 못한다고 생각하는데요, 구독자님은 시간과 공을 들여 영상을 남기고 싶으신가요 아님 다량의 영상을 찍어내는 것을 선호하시나요?

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

프롬프트 (by @jae_hong__an) :