배호의 10곡 학습 AI Cover 로 트로트를 더빙해보자.

 

배호의 노래 2곡만 학습시켜 더빙해 보았다. 말 안해도 무슨 노래인지 다들 아실 것이다. 돌아가는 삼각지와 안개긴 장충단 굥원이 바로 그들이다, 아무래도 가수 배호는 히트 곡이 대단히 많은데 2곡으로 음역 즉 음의 고저 (pitch) 를 커버하기 힘들지 않을까 하는 아쉬움이 앞섰다. 

 

일차적으로는 Cplab Applio.ipynb 를 사용법을 익숙해질 정도로 충분한 훈련이 되어야 한다는 점이다. 특히 무료 CPS 서비스를 사용해야 하므로 노련할 정도의 사용법 수련이 필수적이다. 미세한 준비차원에서의 실수로 인해 실행 과정에 에러 발생이 없어야 한다.

 

거의 한달 정도 주물러서 이제서야 다소 익숙해져 드디어 1-곡 학습에 도전하게 되었다. 선곡된 내용은 다음과 같다.

더빙할 곡도 마찬가지로 트로트일 필요가 있다. 이 곡은 조용필의 돌아와요 부산항 목소리(Vocal) 을 사용하기로 하자. 가수 조용필의 목소리 특징은 가사 마디 후반부에 tremoro 즉 떨림이 거의 없다는 점이다. 하지만 배호 AI Cover 처리하면 구절 구절마다 tremoro 가 나타나야 할 것이다. 

 

이들 모두를 UVR5  처리하여 Vocal 과 Instrumental(반주) 로 분리해서 모아 두자.

 

구글 NDRIVE 에서 ApplioBackup 폴더가 있는지 확인해 보고 있으면 아예 삭제하도록 하자. Vocal 데이터 들은 입력 단계에서 사용자 PC 에서 파일이나 폴더 탐색기로부터 Drop 또는 Drag 기능을 사용하여 쉽게 업로딩할 수 있다.

 

GPU T-4 를 런타임 연결하여 200 epoch 학습을 실행하면 다음 출력 결과가 얻어진다. 3시 51분에 시작하여 6시 40분 경에 완료되었다. 즉 10곡에 2시간 50분(170분) GPU 연산 시간이 소요되었다.

 

 

학습 파일은 다음과 같다. D_...  , G_... 는 노래들의 특징을 추출한 인덱스 파일로소 추론 과정에서 고스란히 사용되는 중요한 파일이다. 학습 결과는 mybaho)200e_13300s.pth 파일이다. 물론 epoch 수가 크다고 무조건 좋다는 보장은 없다. 150 epoch 정도도 괜찮은 결과를주리라 기대한다.

 

학습 결과는 mybaho)200e_13300s.pth 파일이다. 물론 epoch 수가 크다고 무조건 좋다는 보장은 없다. 150 epoch 정도도 괜찮은 결과를 주리라 기대한다. 이 파일으들은 추론(Inference) 과정에서 고스란히 사용되는 중요한 파일이다. 

 

 

 

 

 

 

7학습(Training) 이 제대로 이루어지게 되면 Colab 에서 아래와 같이 epoch 수에 따라 학습 진행을 모니터 할 수 있다. 일단 그래픽에서 초기에 주어지는 Default  값을 가지고 하나당 대략 3분 정도인 노래목소리  1개 데이터 파일을 학습시키는 경우 T-4 GPU 를 사용하면서 빠른 속도의 Batch Sixe=8 을 사용함에도 불구하고 20 ~ 30분  정도가 소요될 수 있음에 주의하자. 곡 수가 많으면 곡당 15분 정도로 좀 들어들 수도 있다. 평균적으로 1 epoch  당 1분 정도면 200 epoch 면 기본적으로 ~ 200분 정도 소요시간이 필요하다.

학습 완료 전에 ApplioBackup 하위의 프로젝트명 baho 폴더에서 중간 pth 파일들 출력 결과를 점검해 볼 수 있다.

 

~ 300분에 결쳐 학습이 성공적으로 완료되었다는 메세지가 출력되었다.

마지막 출력 결과를 요약하자. Applio/logs/baho 폴더에 G_...pth, D_...pth, baho_200e_2800s.pth alc baho.index 학습 데이터 파일들이 생성되었으며, 이들은 추론(inference) 단계에서 사용된다.

 

마지막 변환(Convert) 작업을 실시하고 wav 파일을 들어 보자. 지난번 2곡 했을 때와 비교해 고퀄리티 Vocal 이 얻어졌다. 측히 갈매치~ 부분도 개선되었다. 하지만 이노래 음정 박자 조용필니 의도한대로 이끌기대문에 우리 배호 형님이 특히 박자 맞추기가 쉽지 않다고 판단된다. 당장 다른 곡으로 배호 성향의 트로트 곡으로 갈아타야겠다. 하지만 추론 작업은 금방이기에 큰 문제 없을 것이다. 

 

다운로드 버튼을 클릭하면 사용자 PC 의 다운로드 폴더에 출력 파일이 생성된다.

 

재미로 들어 보실 분을 위해서 wav 파일 첨부해두도록 한다. 반주(Instrumental)와의 mix 작업은 앞 블로그의 파이선 코드를 활요하기 바란다. 학습 파일도 드리고 싶으나 본 블로그가 20M 로 업로딩이 제한되어 불가능함을 양해해 주시기 바란다. 직접 학습시켜서 해보시길 권유한다.

 

반주도 Mix 하여 들어봤는데 음정이 영 맞지 않는게 막바로 땡~ 이네요.

1_돌아와요_부산항에_Vocals_output.wav

12.24MB

 

학습했던 자기 노래도 한 번 들어 보자. 느낌 전달은 좋았다. Mix 하여 들어보니 음정이 조금 상한듯 하나 어느 정도 원상 복구가 된듯한 느낌이 드는게 어느정도 기술적인 성공 가능성을 엿볼 수 있었다. 첨부된 mp3 다운해서 들어보자.

3_3누가_울어_Vocals_output.wav

12.98MB

 

누가울어_Vocals_Instrumental_output.mp3

2.60MB

 

AI Cover 응용을 위해서 또 다른 트로트 곡 '진고새 신사'를 선택하여 작업을 수행하였다. 이 노래는 최희준의 곡으로서 일부러 트레모로 효과를 넣지 않은 상당히 고음의 곡인데 배호 AI Cover 가 마디마다 백퍼 트레모로 효과를 넣어 원곡의 멜로디를 잘 살리면서도 상당히 개성있는 곡으로 바뀌었다. MIX까지 한 최종 mp3 를 첨부하니 감상해 보시기 바란다. 어느정도 AI Cover 작품성이 만족스러울 정도로 느껴진다. MIX 에서 주의할 점은 Vocal 은 0 으로 두고 Instrumental 은 -6 db 로 설정하여 가수의 목소리를 적절히 돋보이게 하였다.

AICover진고개신사.mp3

2.66MB

 

Under Construction