見出し画像

Text2Motion：WIP 태극권과 히프미 축사

みれのスクラップ

Miu 씨가 작성한 AI로 문장에서 MMD 모션을 생성할 수 있는 Text2 Motion 온라인(Colab)판 베타 시험해봤다.

생성한 모션은 3가지.1이 태극권답게, 2는 돌려차기, 3은 거의 정지해 있었다.전반에는 3개의 모션을 구체관절 인형 모델에 흘려 넣어 단순 연결해 약간 카메라를 조정한 것.후반부는 자동 생성된 막대 인형 모션.

MMD Text2Motion WIP（MDM: Human Motion Diffusion Model)：太極拳 - YouTube

Colab은 모션 오토트레이스에서 이용한 적이 있었기 때문에 비교적 익숙하고 부드럽게 생성할 수 있었다.

지정된 페이지를 순서대로 읽고, 필요한 환경을 정돈하고, 나머지는 지정대로 셀을 실행해 나갈 뿐이다.

동작을 수행하는 초수는 슬라이더로 지정.일단 최대인 9.8로.
생성 개수는 '같은 프롬프트라도 실행할 때마다 결과가 조금 달라집니다'라고 해서 디폴트는 2였는데 3으로 해봤다.
시간이 걸릴까봐 3으로 했는데 각각 3분 정도여서 조금 더 많이 만들 수 있을 것 같다.

우선 동영상을 편집해서 연결할 수 있어야지;;
이번에는 일단 윈도10 포토를 사용해 MMD 구체관절 모델에 생성된 모션을 흘려보낸 동영상과 오리지널로 생성된 막대인간 동영상을 연결했다.

다음으로 도전한 것은 BPM을 지정한 히프미 축사용 모션.

MMD Text2Motion WIP2（MDM: Human Motion Diffusion Model)：【初音ミク】ひふみ祝詞 - YouTube

Text2Motion으로 태극권 모션을 자동 생성해 보고 절감한 게 소리가 어렵구나 하는 것이다.

극을 만드는 프로듀싱력도, 기존 모션에 소리를 넣는 기술도 갖고 있지 않다면 아예 소리에 맞춰 모션을 만들어 달라고 하는 게 낫지 않을까.

그래서 AI가 BPM을 고려해 모션 만들어줄지는 알 수 없으면서 일단 사용하고 싶은 음원의 BPM을 재서 지정하기로 했다.

일단 목표는 이것이다!

球体関節アマビエさまx2【初音ミク】ひふみ祝詞【輪唱】BJD Amabie's prayer dance (HIHUMI Norito by MIKU) - YouTube

매일 아침 산책할 때 공원에서 보이는 구렁이를 향해 외우고 있는 '히프미 축사'. 여러 가지 모션을 맞춰보고 있는데 오리지널 모션을 만들어 보고 싶다.완만한 곡이라 완만한 모션이면 맞추기 쉬울 것 같아.

원곡은 이쪽.

【初音ミク】ひふみ祝詞【輪唱】 - ニコニコ動画

BPM은 95였다.

여기 사이트에서 온라인으로 잴 수 있었어.

무료 BPM 측정 도구 - 무료 & 온라인 - Audio Director Online

이번에는 10모션을 동시 생성해 보았다.모션을 생성하기 시작한 지 대략 30분이 걸렸다.

다음 동영상은 음악 시작 시점 등에 상관없이 처음부터 10개의 모션을 단순 연결한 것.

MMD Text2Motion WIP（MDM: Human Motion Diffusion Model)：【初音ミク】ひふみ祝詞 - YouTube

01 모션은 허우적거리지만 대체로 완만한 모션이 많아 음악에 맞출 수 있을까 하는 느낌이었다.일단 BPM 봐줬나?

다음으로, 조금 움직임이 심한 01 모션을 분리해, 음악 개시시부터 02~07까지 모션을 연결해 키모노 공주 모델에 흘려 넣어.이게 아까 동영상.
끝 프레임 다음이 바로 다음 시작 프레임에서 뭔가 삐걱거리는데 배경, 이펙트, 카메라로 얼버무리면 어떻게든 될 것 같은 수준까지 왔나?



この記事が気に入ったらサポートをしてみませんか？