영상 애니메이션화 AI, Kaiber 알아보기

hyej****
2023-07-24
조회수 1521

[트렌드 아카이브] AI 요즘

 — 독창적인 비주얼의 스토리텔링. 린킨 파크와 협업한 생성형 AI, 카이버와 함께 사진과 동영상을 색다른 느낌의 애니메이션으로 생성해 보세요. 

                                                         


여러분 혹시 록밴드 린킨 파크(Linkin Park)를 알고 계시나요? 린킨 파크는 전 세계적으로 사랑받고 있는, 미국의 록밴드인데요. 린킨 파크의 정규 2집[Meteora]의 20주년을 기념하며, 2023년에 [Meteora 20th Anniversary Edition] 발매와 더불어 여러 가지 활동을 할 예정이라고 밝힌 바 있습니다. 이후 올해 초 "Lost"라는 곡을 뮤직비디오와 함께 공개했는데요. 여기서 주목할 점은 바로 "Lost"의 뮤직비디오를 만들 때 AI가 아주 큰 도움이 되었다는 것입니다. 동영상이나 사진을 애니메이션화해 주는 생성형 AI 플랫폼, Kaiber(카이버)를 활용하여 Lost의 뮤직비디오를 제작했다고 하는데요. 바로 확인해 볼까요?

색다른 분위기의 뮤직비디오를 감상하고 오셨습니다. Kaiber는 린킨 파크의 최근 공개된 뮤직비디오 외에도 키드 커디(Kid Cudi)의 "Entergalactic Theme" 뮤직비디오에 활용되었다고 하는데요. 오늘은 이 Kaiber를 함께 다뤄보고자 합니다. 그럼, 지금 바로 함께 Kaiber를 탐방해 보겠습니다.

Edited by. AI 스토리보드 아티스트 𝒔𝒕𝒐𝒓𝒊𝒔𝒕 팀



Kaiber에서 동영상을 생성하는 방법은 총 4가지로 나뉩니다. 사진 파일을 통한 생성, 동영상 파일을 통한 생성, 음원 파일을 통한 생성, 프롬프트 입력을 통한 생성. 이 4가지 방법 중 어떤 방법을 쓰든 Kaiber는 다양한 스타일의 애니메이션 동영상을 생성해 주는데요. 그럼, 동영상을 생성하는 방법에 대해 자세히 알아볼까요?





1. 사진으로 생성하기

Kaiber에서 동영상을 생성하기 위해 찾아온 샘플 사진입니다. 한 커플이 손을 잡고 바닷가를 거닐고 있는 모습이 보이는데요. 이제 준비한 사진과 함께 입력해 줄 프롬프트를 만들어 보겠습니다. 사진을 텍스트로 서술해 주면 되는데요. 저는 먼저 한글로 프롬프트를 작성한 후에 Chat GPT를 기반으로 한 한글 AI를 통해 영어로 바꿨습니다.

예시 프롬프트:
A couple holding hands walking on a summer beach, with clear weather and some fluffy clouds in the sky.

이제 준비가 모두 끝났습니다.

먼저 준비한 사진을 Kaiber에 업로드하고 [→Continue to prompt.]를 클릭합니다. 그러면 프롬프트 입력 페이지가 뜨는데요. I want to create a video of 아래에 준비한 프롬프트를 입력하고, in the style of 아래에는 생성하고자 하는 동영상이 어떤 스타일의 애니메이션이길 바라는지 직접 적어주거나 우측에서 선택하면 됩니다. 저는 아티스트(린킨 파크, 키드커디 등) 모티브의 스타일 컬렉션 중 "Lost"를 선택했습니다. 프롬프트를 모두 입력했다면 생성할 동영상의 상세 세팅을 하러 가볼까요? [↘Video settings]를 클릭하여 다음 페이지로 넘어가겠습니다.

이제 상세 세팅 페이지로 넘어왔습니다. 생성하고자 하는 동영상을 상세하게 설정해 볼까요? 먼저 영상의 길이를 설정해 주겠습니다. 저는 8초짜리 영상을 만들어 볼 예정입니다. 다음으로 카메라 무빙을 어떻게 할지 결정해 보겠습니다. 실험하면서 다양한 동작을 시도해 보았지만, Zoom Out으로 설정했을 때 가장 좋은 결과를 얻었기 때문에 Zoom Out으로 설정하도록 하겠습니다. Show initial image in the first frame을 체크하면 첨부한 샘플 이미지가 동영상의 가장 처음 부분에 첨부되는데요. 저는 원본 이미지와 샘플 영상의 차이를 바로 확인할 수 있게 체크하도록 하겠습니다.  Evolve의 경우, 숫자를 낮게 설정할수록 더욱 안정적인 느낌의 동영상이 생성된다고 합니다. 저는 디폴트 값인 6으로 설정했습니다. 아래 Boomerang을 체크할 경우 부메랑을 던지면 다시 돌아오는 것처럼 총길이의 처음 반 동안은 동영상이 제대로 재생되고 이후엔 역방향으로 다시 재생되는 효과를 보실 수 있습니다. 저는 그다지 필요하지 않아서 체크하지 않았습니다.

상세 설정을 모두 마쳤다면 [↘Go to preview frames]를 클릭해 줍니다. 총 4가지 버전의 주요 프레임을 확인하실 수 있는데요. 그중 가장 마음에 드는 버전을 선택 후 [↘● Create Video]를 클릭해 주세요. 각각 주요 프레임 우측 하단의 다운로드 표시를 누르면 주요 프레임을 png 파일로 확인해 보실 수 있습니다.

선택한 주요 프레임을 토대로 동영상이 생성됩니다. 생성되기까지 시간이 조금 걸리니 다른 일을 하다가 오셔도 좋습니다. 이번에 Kaiber로 작업하면서 창을 닫아놔도 동영상이 문제 없이 생성되는 것을 확인했으며, 이 점이 굉장히 마음에 들었습니다. 동영상이 모두 생성되면 우측에서 동영상을 미리 볼 수 있습니다. 확인을 모두 마쳤다면 영상을 다운로드 해볼까요?

제가 첨부한 샘플 사진을 시작으로 애니메이션풍의 동영상이 완성됐습니다. 생성된 동영상의 후반쯤 갑작스럽게 여성에게 크로스백이 생긴 점, 멀리에 메인 피사체와 비슷한 구도의 행인이 생겼다는 점을 제외하면 굉장히 만족스러운 결과물입니다.



2. 동영상으로 생성하기

다음은 원래 있는 동영상을 애니메이션풍으로 바꿔보겠습니다. 위에 첨부한 동영상이 이번에 쓰일 샘플입니다. 그리고 역시 프롬프트를 준비해야 합니다. 알록달록한 열기구가 푸릇푸릇한 평야 위를 날고 있네요. 날씨가 맑고, 하늘이 파랗습니다.

예시 프롬프트:
A colorful hot air balloon is flying over a fresh plain, with clear weather and bright blue skies.

이제 바로 동영상과 프롬프트를 넣어볼까요?

Kaiber에 동영상을 첨부해 주세요. 한 번에 첨부할 수 있는 동영상 파일의 최대 길이는 1분입니다. 동영상 첨부를 완료했다면 [→Continue to prompt.]를 눌러줍니다. 프롬프트 입력 페이지가 뜨면 준비한 프롬프트를 입력해 주세요. 이번에 저는 수채화 느낌의 Meteora Watercolour를 선택했습니다. 스타일 선택을 포함한 프롬프트 입력을 모두 마쳤으니 [↘Video settings]를 클릭하겠습니다.

앞서 이미지로 동영상을 생성할 때와는 사뭇 다르게 상세 세팅 페이지가 상당히 간소합니다. 그 이유는 동영상의 길이도, 카메라의 무빙도 모두 원본 영상을 따르기 때문입니다. Kaiber에서 동영상을 활용하여 콘텐츠를 재창조할 때 상세 세팅에서 볼 수 있는 값은 바로 Transform인데요. 앞서 사진을 통해 동영상을 생성할 때 봤던 Evolve와 마찬가지로 숫자를 낮게 설정할수록 더욱 안정적인 느낌의 동영상이 생성됩니다. 저는 이번에도 역시 디폴트 값인 6으로 설정해 보겠습니다. 간단하게 상세 설정을 모두 마친 뒤 [↘Go to preview frames]를 눌러주세요.

생성된 4가지의 주요 프레임 중 생각했던 느낌과 가장 비슷한 한 가지를 선택하고 [↘● Create Video]를 클릭해 주세요.

선택한 주요 프레임을 토대로 동영상이 생성됩니다. 저는 동영상을 통해 생성할 경우, 로딩까지의 시간이 조금 더 걸린다는 느낌을 받았습니다. 동영상이 모두 생성되면 우측에서 동영상을 미리 확인할 수 있겠죠? 영상을 바로 다운로드하겠습니다.

원본 영상 자체에 큰 무빙이 없어서 잔잔한 영상이 완성되었습니다. 은은히 바뀌는 풍경과 알록달록한 색상이 자유롭게 바뀌는 모습이 마음에 듭니다. 이번 동영상을 생성할 때 Meteora Watercolour 스타일을 선택했던 것 기억하시나요? 확실히 Lost 스타일로 생성한 동영상과는 그림체의 차이가 보입니다. 아래에 주요 다섯 가지 스타일을 따로 다룰 예정이니 그 부분도 기대해 주세요.



3. 음원으로 생성하기

이제 음악파일 첨부를 통해 동영상을 생성해 보겠습니다. 제가 선택해 온 음악은 NEFFEX의 This is Not a Christmas라는 곡인데요. 강렬한 비트가 인상적인 곡입니다. 동영상을 생성하기 위해서는 역시나 프롬프트가 필요하고요. 음악파일과 동시에 샘플로 쓰일 사진 파일도 업로드가 가능하지만, 저는 사진 파일 업로드는 없이 오로지 음악 파일과 프롬프트 입력을 통해 동영상을 생성해 보겠습니다. 제가 생각한 이미지는 손을 흔들며 열광하는 수많은 팬 앞에 록밴드가 공연하는 그런 장면입니다.

예시 프롬프트:
A rock band is performing in front of a huge crowd of enthusiastic fans, waving their hands in excitement.

이제 바로 동영상을 생성해 보겠습니다.

먼저 준비한 음원을 첨부해 주세요. Kaiber에 첨부할 수 있는 음원의 최대 길이는 1분입니다. 혹시 준비한 음원이 1분이 넘는다면 음원 첨부 칸 아래에 Need to trim your audio file?을 클릭해 주세요. 그렇게 하면 음원을 자를 수 있는 무료 사이트로 이동됩니다. 음원 파일 첨부를 마치셨다면 [→Continue to prompt.]를 눌러주세요. 이제 준비한 프롬프트를 입력하고 스타일을 선택하겠습니다. 이번에는 Meteora Graffiti를 클릭하겠습니다. 프롬프트 입력이 모두 끝났다면 [↘Video settings]를 클릭해 주세요.

동영상 길이는 음원 길이에 자동으로 맞춰서 설정됩니다. 저는 3분 3초 길이의 음악을 31초로 잘라 와서 동영상 길이도 31초로 설정되었네요. 다음으로 생성할 동영상의 종횡비를 선택하겠습니다. 가로형, 세로형과 1:1비율의 종횡비가 총 5가지 있는데요. 저는 16:9를 선택했습니다. 카메라 무빙은 처음에는 Rotate Clockwise를 선택 후 동영상을 생성해 봤는데요. 31초라는 총 러닝타임 내내 영상이 빙글빙글 돌아가는 게 멀미를 유발해서 Zoom Out을 선택하여 다시 생성했습니다. 혹시 Clockwise같이 돌아가는 동영상을 생성하고 싶으시다면 카메라가 돌아갔으면 하는 시간만큼만 짧게 생성하시길 바랍니다. Evolve는 역시 디폴트값으로 설정했습니다. 음원 파일을 첨부하면 상세 설정 페이지 하단에 Make this audio reactive가 보이는데요. 이 값은 첨부한 음악이 생성될 동영상의 카메라 무빙이 얼마나 영향을 미칠지에 대한 부분입니다. Low가 더 적게 반응하는 값이겠죠? 저는 중간값인 Medium을 선택했습니다. 혹시 프롬프트 외에 레퍼런스 사진을 추가로 첨부하고 싶으시다면 Image Upload에 첨부하시길 바랍니다.

상세 설정을 모두 마쳤으니, 이제 [↘Go to preview frames]를 클릭하여 주요 프레임 프리뷰 페이지로 가겠습니다. 생성된 4개의 주요 프레임 중 가장 마음에 드는 한 가지를 선택하고 [↘● Create Video]를 클릭해 주세요.

선택한 주요 프레임을 토대로 동영상이 생성되었습니다. 확인을 모두 마쳤다면 영상을 다운로드 해볼까요?

어느 정도 음악의 비트에 맞춰서 이미지가 변형되고, 카메라가 Zoom out 되는 것이 보입니다. 확실히 동영상이 길어지니까, 후반으로 갈수록 불필요한 요소나 그림의 구도가 맞지 않는 모습을 확인할 수 있었는데요. 그래도 초반 부분은 제가 생각했던 장면과 비슷한 장면이 생성되었다는 점이 만족스러웠습니다.



4. 프롬프트로 생성하기

다음은 프롬프트 작성을 통한 동영상 생성하기입니다.  생성형 AI를 많이 접해보신 분들은 프롬프트 작성이 익숙할 텐데요. 그런 분들은 바로 원하는 프롬프트를 작성하여 동영상을 생성하시면 됩니다. 반대로 프롬프트 작성이 처음이거나, 프롬프트 작성에 어려움을 겪고 있는 분들도 분명히 계실 텐데요. 그럴 땐 카이버 홈페이지 상단의 Gallery를 클릭해 보세요. Gallery 탭에서는 다른 사람들이 Kaiber를 통해 생성한 동영상을 볼 수 있습니다. 생각한 이미지와 비슷한 동영상이 있다면 클릭해 주세요. 해당 동영상을 생성하기 위해 사용한 프롬프트를 복사할 수 있습니다. 저는 갤러리에서 발견한 이미지를 클릭하여 프롬프트를 가져왔습니다.

예시 프롬프트:

Wanderer roamed alone, lost in its enigmatic embrace, purple colors, night sky, dark, in the style of 3D, octane render, 8k, ray-tracing, 1blender, hyper-detailed, ultra texture.

Kaiber 갤러리에서 가져온 프롬프트를 바로 입력해 보겠습니다.

비디오 만들기 페이지에서 가장 아래에 있는 버튼인 [→ Just start writing prompt]를 클릭해 주세요. 그리고 복사한 프롬프트를 붙여넣기 합니다. 프롬프트 중 in the style of 이후 내용은 아래의 in the style of 칸에 적어주시면 됩니다. 생성할 영상의 스타일을 직접 적어 넣었으니, 우측에서 따로 고를 필요가 없습니다. 프롬프트 입력 후 레퍼런스 이미지나 동영상에 들어갔으면 하는 음원(최대 1분)을 첨부할 수도 있습니다. 저는 그냥 프롬프트만 사용하여 생성해 보겠습니다. 프롬프트 입력이 모두 끝났다면 [↘Video settings]를 클릭해 주세요.

이제 상세 세팅을 진행하겠습니다. 앞서 설명한 부분과 모두 같기 때문에 이 파트에서는 따로 세세히 설명하지는 않겠습니다. 설정을 모두 마쳤다면 이제 [↘Go to preview frames]를 클릭하여 주요 프레임 프리뷰 페이지로 이동해 주세요. 생성된 4개의 주요 프레임 중 가장 마음에 드는 한 가지를 선택하고 [↘● Create Video]를 클릭해 주세요.

동영상 생성이 모두 끝나면 확인 후 다운로드합니다. 갤러리에서 봤던 영상과는 조금 다르게 더 어두운 영상이 만들어졌는데요. 한번 확인해 볼까요?



높은 퀄리티의 동영상이 잘 생성되었는데요. 역시 샘플 영상보다는 더 어둡게 생성되었습니다. 확실히 샘플 이미지가 있는 편이 더 정확한 동영상을 생성하는 데 도움이 될 것 같습니다.



5. 생성 스타일

마지막으로 위의 샘플 이미지를 통해 생성 스타일에 대해 알아보겠습니다. 먼저 주요 스타일인 아티스트 모티브의 스타일 5가지입니다. 이 다섯 가지 스타일을 확인하기 위해 저는 Kaiber의 Storyboard기능을 활용했습니다. 한 영상 안에 여러 씬을 생성할 때 유용하게 쓸 수 있는 기능입니다. 저는 스토리보드를 활용하여 같은 이미지를 스타일만 다르게 동영상으로 만들어 보겠습니다.

예시 프롬프트:
On a clear and blue sunny day, a white bicycle is placed on the lakeside walking path.

준비한 이미지 파일을 첨부하고, 프롬프트를 입력하는 것까지는 앞서 보여드린 과정과 같습니다. 가장 먼저 보여드릴 스타일 Lost를 선택하고 [↘Video settings]를 클릭하겠습니다.

상세 세팅 역시 같습니다. 이번엔 Storyboard를 활용할 예정이기 때문에 한 가지 스타일 당 4초씩 총 20초짜리 영상을 만들겠습니다. 길이를 4초로 설정하고 나머지 세팅을 원하는 대로 해주세요. 그 후 [↘Go to preview frames]를 클릭하여 4가지 주요 프레임 샘플을 생성합니다. 원하는 주요 프레임을 선택하고 [+Storyboard]를 클릭하여 스토리보드를 추가하세요. 기존에 생성한 스토리보드에 4가지 스토리보드를 추가로 생성했습니다.

스토리보드를 모두 생성하셨다면 우측 상단에서 생성된 스토리보드 및 스토리보드의 개수를 확인하시고 문제가 없다면 [↘● Create Video]를 클릭합니다. 이제 생성된 동영상을 확인해 볼까요?

명확한 구분을 위해 위쪽에 자막으로 각각 스타일의 이름을 적어뒀습니다. 한 번에 생성한 영상의 길이가 길어서 그런지 뒤로 갈수록 불필요한 요소가 많아지는 걸 확인할 수 있는데요. 일단은 그림체에 집중해 주시길 바랍니다. 4초마다 메인 그림체가 바뀌는 걸 확인할 수 있습니다.

방금 함께 확인해 본 아티스트 모티브의 스타일 컬렉션 아래에 Cinematic, Photo-Realistic, 3D Rendering, Watercolour, Oil Painting, Steampunk, 이 6가지 버튼이 보이는데요. Kaiber에서 자체적으로 설정해 둔 동영상 스타일로, 클릭하면 각각의 이름에 맞는 프롬프트가 자동으로 입력됩니다.

Cinematicphoto taken on film, film grain, vintage, 8k ultrafine detail, private press, associated press photo, masterpiece, cinematic
Photo-Realistic
Photo real, hyper-realistic, high dynamic range, rich colors, lifelike textures, 8K UHD, high color depth, Nikon D 850, Kodak Portra 400, Fujifilm XT
3D Rendering
3D, octane render, 8k, ray-tracing, blender, hyper-detailed
Watercolour
watercolor, soft edges, color gradations, luminous, water pigment, Pierre-Joseph Redouté, Thomas Moran, JMW Turne
Oil Painting
an oil painting, 1600s, exquisite detail, baroque painting, voluminous lighting, painterly brushstrokes, edgar degas, john singer sargent, john william waterhouse, masterpiece
Steampunk
still from a retrofuturistic film, Lofi steampunk, cinematic focus, realistic, highly detailed, masterpiece, by albert robida

이 외에도 원하는 다른 스타일이 있다면, 텍스트로 직접 입력할 수 있습니다.



오늘은 애니메이션풍의 동영상을 생성해 주는 Kaiber를 직접 사용해 보고 소개해 드렸습니다. Kaiber를 사용하면서 느낀 첫 번째 단점은 동영상이 생성되기까지 꽤 긴 시간이 걸린다는 점이었습니다. 그러나 Kaiber 창을 닫은 상태에서도 동영상이 생성되기 때문에 그동안 다른 일을 할 수 있어서 작업 시간을 효율적으로 쓸 수 있었습니다. 두 번째 단점은 한 번에 생성하려는 동영상의 길이가 길면, 동영상의 후반부로 갈수록 불필요한 요소들이 생겨났다는 점입니다. 음원 첨부를 통해 생성했던 동영상이나, 스타일을 비교하기 위해 생성한 동영상은 총길이 20~30초대로 꽤 긴데요. 그래서 그런지 뒤로 갈수록 구도적 오류나 주요 피사체와 비슷한 불필요한 요소가 발생했습니다. 혹시 카이버로 긴 동영상을 생성해야 한다면 컷 단위로 끊어서 짧게 작업하는 것을 권장해 드립니다.

몇 가지 불편함도 존재하지만, 콘텐츠에 감각적인 효과를 주기에 딱 좋은 기술인 것 같습니다. 현재 Kaiber에서 무료 체험판 7일과 30 크레딧을 제공하고 있으니, Kaiber를 통해 색다른 연출을 시도해 보세요!



Edited by. AI 스토리보드 아티스트 𝒔𝒕𝒐𝒓𝒊𝒔𝒕 팀



#Kaiber #AI애니메이션 #린킨파크 #창의적비주얼 #AI뮤직비디오 #AI스토리텔링 #동영상제작 #사진애니메이션 #음악동영상 #프롬프트 #AI예술 #AI동영상생성 #애니메이션스타일 #AI협업 #창작도구

010-6708-1246

평일 10:00 - 17:00

점심 13:00 - 14:00

휴일 토/일 공휴일

WHAT WE DO

MAGAZINE


010-6708-1246

평일 10:00 - 17:00
점심 13:00 - 14:00
휴일 토/일 공휴일

고객 문의



© 2023 Tridot Inc. All rights reserved. 

© 2023 Tridot Inc. All rights reserved.

주식회사 트라이닷(Tridot Inc.) 대표자명: 전경찬 사업자번호 : 372-81-01941 통신판매업신고번호 : 제 2022-서울서초-2764  (사업자정보조회) 이메일 문의 : hello@tridot.io 

주소 : 서울특별시 강남구 역삼로 217, 606호