Runway Edit Studio 인물 교체 방법｜캐릭터 일관성 유지하는 실전 팁
Runway Edit Studio 기능이 궁금하신가요? 최근에 간편하게 인물, 배경을 바꿔 AI 영상을 만드는 것은 어떨까라는 고민을 해결하기 위해 찾아 봤었습니다.
그래서 나온 답은, Runway Edit Studio를 사용하면 기존 영상의 움직임과 카메라 구도는 유지하면서 영상 속 인물만 다른 사람이나 캐릭터로 교체할 수 있습니다.
당연히, Runway를 광고하는 사람은 절대 아닙니다. 최근에 유료 결제하여 사용하고 있습니다. 간단하게 사용하는 법과 후기 담은 포스팅이라 생각해 주시면 감사하겠습니다.
저도 최근 AI 영상을 만들면서 Edit Studio의 인물 교체 기능을 자주 사용하고 있습니다. 특히, 편리한 점은 Keyframe을 영상 내에서 지정하고 참고 이미지 및 프롬프트를 통해 새로운 이미지를 생성합니다.
그런데 직접 여러 장면을 수정해보니 문제가 하나 있었습니다.
안타까운 사실은 영상이 길거나 인물의 움직임이 커질수록 얼굴, 체형, 헤어스타일이 조금씩 달라지는 현상이 발생했습니다.
그래서 현재는 긴 영상을 한 번에 수정하기보다 5~10초 정도의 짧은 구간으로 나누고, 이전 결과 이미지를 다음 장면의 참고 이미지로 연결하는 방식을 사용하고 있습니다. 실제로 크레딧이 매우 비싸기 때문에 여러분께서는 저와 같은 낭비를 하지 않으셨으면 좋겠습니다.
이번 글에서는 Runway Edit Studio에서 영상 속 인물을 교체하는 기본 방법부터 캐릭터 일관성을 높이기 위해 제가 실제로 사용하는 방법까지 정리해보겠습니다.
여러분께서 AI 애니메이션을 만드는 것에 궁금하시거나 Kling AI 춤 영상 만드는 법에 대해 궁금하시다면 제 글을 참고해주세요.
Runway Edit Studio 란?
Runway Edit Studio는 이미 만들어진 영상을 AI로 수정할 수 있는 영상 편집 기능입니다.
현재 Aleph 2.0을 기반으로 작동하며 영상 속 인물이나 제품을 교체하거나 배경 변경, 오브젝트 제거·추가, 스타일 변경 등의 작업을 할 수 있습니다.
현재 공식 사양에서는 최대 30초 길이의 영상과 최대 1080p 입력 영상을 지원합니다.
특히 제가 많이 사용하는 기능은 영상 속 사람을 다른 인물로 교체하는 작업입니다.
처음부터 똑같은 움직임의 AI 영상을 다시 생성하는 것보다 기존 영상의 동작을 그대로 활용할 수 있다는 점이 가장 큰 장점입니다.
Runway Edit Studio 영상 속 인물 바꾸는 방법
Runway Edit Studio를 몇 번 사용해 보니 기본적인 작업 과정은 어렵지 않습니다. 제 가이드라인만 따라 오시면 크게 어려움은 없을 것입니다.
1. 수정할 영상을 불러온다
Runway에서 Edit Studio를 실행한 뒤 수정하려는 영상을 업로드합니다.
영상이 길다면 처음부터 전체 영상을 작업하기보다 인물이나 장면이 크게 바뀌는 부분을 기준으로 나누는 방법을 추천합니다.
Runway에서는 타임라인의 범위를 지정해 영상의 특정 구간에만 편집을 적용하는 것도 가능합니다.
설명하는 것이니 Vidu를 통해 가상의 여성이 커피마시는 영상을 5초짜리로 만들어 보겠습니다.
2. 인물이 잘 보이는 프레임을 선택한다
다음으로 영상에서 교체할 인물이 가장 정확하게 보이는 프레임을 선택합니다.
제가 작업할 때는 가능하면 다음과 같은 프레임을 선택합니다.
- 얼굴이 가려지지 않은 장면
- 정면 또는 반측면 얼굴이 명확한 장면
- 모션 블러가 적은 장면
- 몸의 형태가 자연스럽게 보이는 장면
개인적으로는 이 과정이 상당히 중요했습니다. 왜일까요? 여러분께서도 AI 다양한 툴을 사용하시겠지만 가장 정면으로 자연스러운 모습의 Keyframe과 가장 정면으로 나온 참고 이미지를 활용해야 최대한 여러분이 원하는 인물로 수정할 수 있다는 것입니다.
처음 선택한 키프레임의 얼굴이나 체형이 이상하면 영상으로 생성했을 때도 원하는 인물이 제대로 유지되지 않는 경우가 많았습니다. 함께 실습해 보도록 하겠습니다. 먼저, Vidu에서 AI 영상을 하나 만들겠습니다.
키프레임을 선정할 때, 커피잔을 들 때 얼굴을 가리는 것을 볼 수 있습니다. 그렇다면 당연히 커피잔을 내려 놓았을 때의 이미지를 Keyframe으로 선정하는 것이 좋겠죠?
3. 교체할 인물의 Reference Image를 추가한다
다음으로 영상에 넣고 싶은 사람이나 캐릭터의 이미지를 Reference Image로 추가합니다.
Runway는 이미지 등의 미디어를 Reference로 추가해 생성 결과의 인물이나 오브젝트를 가이드할 수 있습니다.
저는 한 장의 이미지에 모든 역할을 맡기기보다 참고 이미지마다 역할을 나눠 사용하는 편입니다. 왜냐하면, 이미지를 생성한 이후, 다양한 각도로 움직이는 영상이 많기 때문에 최대한 다양한 사진을 제공합니다.
자! 그렇다면 한번 예를 들어 보겠습니다.
Image 1
→ 얼굴과 전체적인 체형을 결정하는 메인 이미지
Image 2
→ 옆모습이나 다른 각도의 얼굴을 보완하는 이미지
Image 3
→ 바로 이전 영상에서 잘 만들어진 인물을 다음 장면까지 이어가기 위한 이미지
제가 제공한 이미지는 기존에 한 여성이 커피를 마시는 영상이였습니다. 정면으로 보이는 장면이기 때문에 Image 1만 제공하여 이미지를 편집하였습니다.
특히 여러 개의 짧은 영상이 연결되는 콘텐츠라면 이전 장면에서 성공한 결과를 다음 장면의 참고 자료로 다시 사용하는 방법이 캐릭터의 연결감을 유지하는 데 도움이 됐습니다.
실제로 사용하는 인물 교체 프롬프트
인물만 교체하고 기존 영상의 움직임과 배경을 유지하고 싶다면 프롬프트를 지나치게 복잡하게 작성할 필요는 없습니다.
제가 기본적으로 사용하는 형태는 다음과 같습니다.
Use Image 1 as the Keyframe reference for the original scene, action, pose, hand position, cup, timing, camera angle, background, lighting, and composition.
Replace only the person in Image 1 with the person from Image 2.
Use Image 2 as the main reference for facial identity, hairstyle, facial features, skin tone, and overall body shape.
Keep the exact same coffee-drinking action and movement from the Keyframe. Keep the same clothing, cup, background, framing, and lighting. Change only the person.
Make the result photorealistic, natural, and consistent throughout the video
Runway의 Aleph 2.0 공식 가이드에서도 복잡한 명령어를 길게 작성하기보다 replace, change, remove처럼 무엇을 할 것인지 명확하게 지정하고 원하는 변화를 구체적으로 설명하는 방식을 권장하고 있습니다.
30초 영상을 한 번에 인물 교체해보니 생긴 문제
Runway Edit Studio는 최대 30초의 영상 편집을 지원합니다.
하지만 여기서 중요한 점이 있습니다.
30초를 지원한다는 것과 30초 동안 동일한 인물이 완벽하게 유지된다는 것은 별개의 문제였습니다.
제가 인물 교체 작업을 하면서 자주 경험했던 현상은 다음과 같습니다.
- 영상 후반부에서 얼굴이 조금씩 달라짐
- 고개를 돌릴 때 다른 사람처럼 변함
- 얼굴이 잠시 가려졌다 나타나면 형태가 바뀜
- 체형이 조금씩 달라짐
- 의상의 길이나 형태가 달라짐
- 빠른 움직임에서 얼굴이 불안정해짐
특히 영상 속 인물이 고개를 크게 돌리거나 자세를 바꾸는 장면에서는 변화가 더 눈에 띄었습니다.
제가 사용하는 방법: 5~10초씩 나눠서 작업
여러 번 작업해본 뒤 현재는 긴 영상을 약 5~10초 정도의 짧은 클립으로 나눠 작업하고 있습니다.
5~10초는 Runway의 공식 권장 길이가 아니라 제가 인물 교체 작업을 하면서 사용하고 있는 방식입니다.
예를 들어 30초짜리 영상을 수정한다면, 먼저 Capcut을 통해 5초 단위로 짤라서 작업합니다.
30초 영상 → 한 번에 인물 교체
보다는
5~10초 → 5~10초 → 5~10초 → 다음 장면
형태로 작업하는 것입니다.
짧게 나누면 얼굴이 이상해진 구간만 다시 생성할 수 있기 때문에 수정도 훨씬 편합니다.
제가 현재 사용하는 작업 방식은 다음과 같습니다.
STEP 1
원본 영상을 장면별로 5~10초 정도로 나눕니다.
STEP 2
첫 번째 영상에서 인물이 가장 잘 보이는 키프레임을 선택합니다.
STEP 3
원하는 인물의 정확한 Reference Image를 사용해 교체합니다.
STEP 4
결과가 만족스럽다면 해당 영상에서 인물이 가장 잘 나온 프레임을 이미지로 확보합니다.
STEP 5
다음 영상 작업에서 원본 Reference Image와 이전 결과 이미지를 함께 참고시킵니다.
이 방법의 핵심은 매 장면에서 캐릭터를 처음부터 다시 만드는 것이 아니라 이전 장면의 결과를 다음 장면으로 계속 연결하는 것입니다.
긴 영상과 짧은 영상으로 작업했을 때 차이
직접 작업했을 때 느낀 차이를 간단하게 정리하면 다음과 같습니다.
| 작업 방식 | 얼굴 일관성 | 수정 편의성 | 추천 |
|---|---|---|---|
| 긴 영상을 한 번에 수정 | 움직임에 따라 흔들릴 수 있음 | 문제가 생기면 수정 범위가 큼 | △ |
| 5~10초 정도로 분할 | 비교적 관리하기 편함 | 실패한 구간만 재작업 가능 | ◎ |
| 이전 결과를 다음 Reference로 활용 | 장면 연결에 유리 | 참고 이미지 관리 필요 | ◎ |
※ 위 비교는 Runway 공식 성능 테스트가 아니라 실제 인물 교체 작업을 하면서 느낀 개인적인 작업 경험을 기준으로 정리한 것입니다.
이 부분을 명확하게 구분해주는 것이 중요합니다.
키프레임이 이상하면 바로 영상을 만들지 않는다
Runway Edit Studio에서는 본격적으로 영상을 생성하기 전에 수정된 키프레임 이미지를 확인할 수 있습니다.
이 단계에서 반드시 얼굴을 확대해서 확인하는 것을 추천합니다.
제가 확인하는 부분은 크게 네 가지입니다.
얼굴 → 체형 → 의상 → 손과 신체 형태
특히 얼굴은 얼핏 보면 비슷해 보여도 확대하면 눈이나 얼굴형이 다른 경우가 있습니다.
이 상태에서 바로 영상을 생성하기보다는 키프레임부터 다시 수정한 뒤 영상을 생성하는 것이 크레딧을 아끼는 데도 도움이 됩니다.
프롬프트를 계속 길게 만드는 것은 추천하지 않는다
Runway Edit Studio 이미지를 생성 후, 결과가 마음에 들지 않으면 프롬프트에 조건을 계속 추가하고 싶어집니다.
하지만 실제로는 조건이 많다고 항상 정확해지는 것은 아닙니다.
Runway 역시 프롬프트 작성 시 간단하게 시작하고 필요한 내용을 하나씩 추가하면서 반복해서 수정하는 방식을 권장합니다. 지나치게 복잡한 프롬프트는 오히려 예상하지 못한 결과를 만들 수도 있습니다.
그래서 저는 처음부터 긴 프롬프트를 작성하기보다,
Replace the original person with the person from Image 1.
처럼 핵심 변경 사항부터 지정합니다.
그다음 얼굴이 달라지면,
Maintain the same facial identity throughout the video.
체형이 달라진다면,
Maintain the same body shape and proportions.
처럼 필요한 조건을 하나씩 추가하는 방법을 사용합니다.
이렇게 해야 어떤 문장이 실제 결과에 영향을 주는지도 확인하기 쉽습니다.
Runway Edit Studio 인물 교체에서 가장 중요한 5가지
지금까지 작업한 내용을 기준으로 정리하면 다음 다섯 가지가 가장 중요했습니다.
1. 얼굴이 잘 보이는 키프레임을 선택한다
얼굴이 가려지거나 모션 블러가 심한 프레임은 피하는 편이 좋았습니다.
2. 정확한 Reference Image를 사용한다
가능하면 얼굴뿐만 아니라 전체 체형까지 명확하게 보이는 자료를 사용합니다.
3. 긴 영상은 짧게 나눠본다
인물 일관성이 계속 무너진다면 5~10초 정도의 짧은 장면으로 나누는 방법을 시도해볼 수 있습니다.
4. 이전 결과를 다음 영상의 Reference로 활용한다
여러 장면에서 같은 캐릭터를 사용한다면 이전 영상의 결과를 연속성 참고 자료로 사용하는 방식이 도움이 됐습니다.
5. 키프레임이 이상하면 영상을 생성하지 않는다
키프레임부터 정확하게 만든 뒤 영상 생성으로 넘어갑니다.
Runway Edit Studio 인물 교체 FAQ
Runway Edit Studio는 몇 초까지 편집할 수 있나요?
현재 Runway 공식 안내 기준으로 Edit Studio는 최대 30초 길이의 영상을 지원합니다.
30초 영상을 한 번에 인물 교체해도 되나요?
가능합니다.
하지만 인물의 움직임이나 장면 변화가 큰 영상에서는 얼굴이나 체형의 일관성이 흔들릴 수 있습니다.
저는 이런 경우 영상을 5~10초 정도로 나누어 작업하는 방식을 사용하고 있습니다. 가장 중요한 점은 크레딧 소모가 많을 뿐 아니라 영상의 퀄리티도 떨어집니다,
Reference Image는 여러 장 사용하는 것이 좋은가요?
무조건 많다고 좋은 것은 아닙니다.
저는 메인 얼굴·체형 이미지와 다른 각도를 보여주는 이미지, 이전 장면의 연속성을 위한 이미지를 목적에 따라 구분해서 사용하고 있습니다.
인물 얼굴이 계속 달라지면 어떻게 해야 하나요?
먼저 키프레임을 다시 선택해보는 것이 좋습니다.
그리고 Reference Image를 변경하거나 영상의 작업 구간을 짧게 나누어 테스트하는 방법을 추천합니다.
프롬프트 역시 한 번에 많은 조건을 추가하기보다 얼굴, 체형 등 문제가 되는 요소를 하나씩 추가하면서 결과를 비교하는 것이 좋습니다.
Runway Edit Studio 사용 후 결론
Runway Edit Studio의 인물 교체 기능을 사용하면서 가장 크게 느낀 점은 좋은 프롬프트 하나만으로 모든 문제가 해결되지는 않는다는 것이었습니다.
특히, 여러 장면에 같은 사람이 계속 등장해야 하는 AI 영상이라면 프롬프트보다도 키프레임 선택, Reference Image 구성, 영상 길이와 장면 연결 방식이 상당히 중요했습니다.
현재 제가 가장 많이 사용하는 방법은 다음과 같습니다.
긴 영상을 5~10초 정도로 나누고 → 정확한 키프레임을 만든 뒤 → 이전 장면의 성공한 인물을 다음 장면의 Reference로 계속 연결하는 방식입니다.
Runway가 공식적으로 최대 30초 편집을 지원하더라도 캐릭터 일관성이 계속 깨진다면 전체 영상을 한 번에 완성하려 하기보다 짧은 장면부터 안정적으로 연결해보는 것을 추천합니다.
앞으로 실제 작업을 계속하면서 인물 교체 프롬프트 작성법과 Reference Image를 구성하는 방법도 별도로 정리해보겠습니다.
