5초만으로 음성을 복제하는 Fish Audio S2.1 Pro

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 5초 음성으로 목소리를 복제하고, 문장 중간에도 감정을 지시할 수 있는 Fish Audio S2.1 Pro를 다룹니다.

5초 음성으로 목소리 복제하기

Fish Audio가 7월 28일(현지시간) S2.1 Pro의 공개 출시와 5,200만 달러 규모의 시드 투자를 발표했습니다. 발표에 따르면 S2.1 Pro는 5초 분량의 음성만으로 목소리를 복제하고, 감정·억양·속도를 단어 단위로 조절할 수 있습니다. 아래는 공식 발표 영상입니다.

Fish Audio는 S2.1 Pro 무료 API도 공개했습니다. 모델 이름은 s2.1-pro-free이며, 83개 언어와 음성 복제를 지원하고 현재 초기 제공 기간에는 사용량의 고정 상한과 카드 등록이 없다고 안내합니다. 다만 회사가 '초기 기간'이라고 명시했으므로 한시적으로 무료로 사용할 수 있을 예정입니다.

S2.1 Pro 무료 API를 직접 연결하는 방법

Fish Audio 회원가입 및 로그인한 뒤 아래 순서로 API 키를 발급합니다.

왼쪽 상단에서 '개발자'를 선택한 뒤, API 키 생성을 클릭합니다.

키 이름과 만료기간을 설정합니다. 저는 ‘Daily Prompt S2.1 Pro Test’라는 이름과 30일 만료기간을 선택했습니다.

API 키가 생성되면, 아래 표시된 부분을 클릭하여 키를 복사할 수 있습니다.

위 이미지에 붉은색 박스로 표시된 버튼을 클릭하여 키를 복사하였다면, 다음과 같이 Codex(또는 Claude Code)에 요청합니다.

오늘의 프롬프트 1:

그런 다음, API 키를 사용해 음성 복제를 할 수 있는 웹페이지를 만들어 달라고 요청하였습니다.

오늘의 프롬프트 2:

오늘의 프롬프트 2 입력 결과:

만들어진 페이지에 제 목소리가 녹음된 파일을 업로드하고 스크립트를 입력해 다음과 같이 음성을 생성할 수 있습니다.

음성 생성 결과:

마무리

1. ​감정 지시를 할 수 있는 것이 가장 큰 특징인데요, 지시가 잘 반영되지 않는다는 인상을 받았습니다. 스크립트에 속삭이라는 지시를 반영해 [whisper in a small voice] 지금 잘 들리시나요? 라고 입력했지만 결과물을 들어보면 속삭이듯 말하지 않습니다.
2. ​음성 복제(voice cloning)는 잘 되는 편입니다. Fish audio의 발표에 따르면, 5초라는 짧은 길이만으로도 복제를 할 수 있다고 합니다. 저는 제가 녹음한 1분 길이의 음성 파일을 업로드했는데요, 결과물이 원래의 제 목소리와 매우 유사하다고 느꼈습니다.
3. 목소리 복제가 쉬워질수록 범죄 악용 가능성도 함께 높아집니다. 이번 테스트처럼 짧은 음성 파일만으로 원본과 유사한 목소리를 만들 수 있다면, 당사자의 동의 없이 음성을 복제하거나 실제로 하지 않은 말을 하게 만드는 일도 훨씬 쉬워집니다.
4. AI로 한 사람의 모습과 목소리를 복제하는 것이 쉬워지면서, 가족을 속이기도 쉬워질 것입니다. 우스갯소리로 가족끼리만 아는 암구호를 만들어야 한다고 말하곤 했는데요, 이제는 정말 필요할 것 같습니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

프롬프트 (by @jae_hong__an) :