AI 영상 모델은 결과물은 그럴듯하지만, 물체가 어디에 놓이고 카메라가 어떻게 움직일지는 생성이 끝나야 알 수 있습니다. Code Video Model은 이 문제를 영화 제작의 '프리비즈(사전 시각화)' 방식으로 풀어보려는 연구 프로젝트입니다.
핵심 아이디어: 코드로 먼저 장면을 짠다
프롬프트를 받으면 AI가 먼저 장면을 구성하는 프로그램(예: Three.js)을 작성합니다. 이 코드가 물체 배치, 움직임, 카메라 위치를 정하고, 물리 움직임은 수식으로 직접 계산합니다. 코드를 렌더링하면 거친 '프록시 영상'과 참고 이미지가 나오고, 연구팀에 따르면 이 미리보기는 1분이 채 안 걸립니다. 코드라서 원하는 요소만 정확히 고칠 수 있다는 점도 장점입니다.
초기 단계만 따라가게 하는 조건 부여
그다음 이미 학습된 영상 모델이 프록시 영상과 참고 이미지를 보고 최종 영상을 만듭니다. 문제는 모델이 프록시 영상의 밋밋한 질감까지 그대로 베낀다는 점이었습니다. 연구팀은 생성 초반, 즉 구도와 움직임이 정해지는 단계에서만 프록시 영상을 참고하고 이후에는 떼어내는 방식(early-step conditioning)을 제안했습니다. 추가 학습이 필요 없고, 구조는 프록시를 따르되 겉모습은 참고 이미지를 살린 영상이 나옵니다.
결과
연구팀은 게임, 장면 편집, 월드 모델 데이터, 물리 표현, 불릿 타임, 3D/4D 복원 등을 평가하는 CodeVideoBench를 함께 공개했습니다. 프로젝트 페이지에 따르면 MiniMax-H3와 결합한 Code Video Model은 평가 모델 세 가지(QwenVL-3.8-27B, GPT-5.6, GPT-6) 기준 종합 점수 85.2 / 82.1 / 85.8을 기록해, 가장 강한 비교 대상인 VACE(74.3 / 73.1 / 80.6)를 앞섰습니다. 페이지 갤러리에는 애니메이션, 불릿 타임, 게임, 건축 시네마틱, 제품 촬영, 로보틱스 궤적 제어 예시가 Three.js 프록시와 함께 실려 있습니다.
AI 영상 크리에이터에게 왜 중요할까
- 운에 맡기지 않는 연출: 카메라 동선과 동작을 미리 정하고 생성할 수 있습니다.
- 빠른 시안: 비싼 생성 전에 1분 안쪽 미리보기로 구도를 확인합니다.
- 부분 수정: 마음에 안 드는 요소만 코드에서 바꾸면 됩니다.
- 그럴듯한 물리: 낙하·충돌 같은 움직임을 계산으로 처리합니다.
시나리오에서 콘티, 영상까지 이어지는 제작 흐름에서 '생성 전에 설계한다'는 방향은 앞으로 더 중요해질 것으로 보입니다.
이런 글을 메일로 받고 싶은 분은 메일을 등록해 주세요.
출처: Code Video Model — Conditioning Video Generation on Code (Code Video Model Team). 이 글은 원문을 요약·소개한 것이며, 연구 내용과 수치, 영상의 권리는 원 저자에게 있습니다. 자세한 내용과 데모 영상은 원문 페이지에서 확인하세요.