Style GAN에 의한 AI 페인팅

점차 모든 면에서 사회가 인공지능화로 휩쓸려 가고 있지만 진즉 머신 러닝 코드 작성을 배워나가는 것도 그리 쉽지는 않아 보인다. 머신러닝이 적용되어 사용되는 범위만 해도 점차 확장되는 추세이며 이를 뒷받침하는 알고리듬도 꽤나 다양하게 개발되어 한방에 다 섭렵하기는 쉽지 않아 보인다. 하지만 그와 같은 인공지능 즉 AI 발전와중에도 꽤나 흥미를 느낄만한 주제로서 AI 페인팅을 생각해 볼 수 있을 것이다.

 

이미 수년 전에 영국의 딥마인드 사가 주체했던 이세돌 기사와와 세기의 바둑 대결이 아직까지도 우리 머리 속에 강한 인상과 기억을 남기고 있으며 아울러 미디어에서도 많은 관심을 받았던 인공지능 분야의 하나가 AI 페인팅일 것이다. 

 

특별히 미술 스케치로 부터 수채화나 유화 페인팅 학습 훈련을 받지 않았더라도 떄떄로 랜드스케이프 사진이나 또는 자신의 사진에 대해서 보다 미적인 감각으로 도포된 페인팅을 얻어내었으면 하는 무의식 세계의 욕망을 흔히 느껴 보았을 것이다. 하긴 나 자신이 지금부터 미술 교육을 받아 Van Goho의 정물화를 대상으로 스케치 연습부터 더 나아가 유화 페인팅을 그릴 정도로 숙련된다 하더라도 무의식의 밑바닥에서부터 스믈스믈 퍼져 나오는 강력한 미학적인 인간의 욕구는 너무나 강력하여 설사 다양한 미술기법을 섭렵한다 해도 결코 쉽게 충족시키지 못할 정도로 강해 보인다.

 

반 고호의 다음 페인팅은 언급할 필요 조차 없을 정도로 너무나 유명하며 많은 이들이 좋아하는 그림이다. 고호의 페인팅은 하늘이나 해, 햇살, 구름 및 심지어 대류에 의한 대기 유동의 터뷸런스 에디까지 모든 자연 환경의 요소들을 미술적으로 캐치하여 특유의 필치로 표현하고 있다.

아래 그림 역시 반 고호의 Cafe Terrace 그림이다. 지금은 우리나라도 워낙 커피 음료 보급과 더불어 카페문화가 일상이 되었지만 일이십년 전만 해도 현재와는 현격한 차이가 있었다. 이 그림은 에전에 영풍문고 책방에서 퍼즐로 판매되었는데 나이드신 모친 치매 예방을 위한 퍼즐 조각 게임용으로 사서 드렸던 그림으로 맞춰진 퍼즐 그림을 보노라면 반 고호 작가가 느꼈던 파리지엥의 삶을 언뜻 느껴 볼 수 있는 그림이다.

이러한 스타일의 예술작품을 대상으로 자신이 스스로 독창적으로 그리진 못해도 반 고호와 같은 작가의 강한 미술혼을 느끼기는 가능할 것이다. 한편 미래를 향해 방향 감각도 없이 질주하는 암담하게 느껴질 수도 있는 인공지능의 미래를 생각하면서 그런 방향으로의 발전을 그 누구도 제지할 수는 없겠지만 그래도 이와 같은 대 화가의 예술 혼을 내가 준비한 이미지에서 머신 러닝의 도움을 받아 새로운 창작으로 얻어낼 수 있다면 그 또한 가치가 있을 것이다.

 

이런 와중에 이미 에전부터 생각했던 알고리듬이 바로 GAN(Genarative Adverssary Network)으로서 아래의 구글의 tensorflow.org 홈페이지에 들어가 홈페이지 웹을 스크롤하자.

그 하단에 보면 전문가용 튜토리얼으로서 생성적 적대 신경망(GAN) 을 찾아 볼 수 있을 것이다. 이 튜토리얼이 GAN을 시작하기 위한 입문 코드 사례일 것이다. MNIST 예제를 사용하지만 GAN 알고리듬 차체의 난이도 문제도 있고 해서 쉽게 이해하기는 어렵다고 느껴질 것이다. 

그러던 중에 검색을 통해 찾았던 블로그가 바로 다음 내용이다.

https://medium.com/tensorflow/my-collaboration-with-painting-robots-and-a-graffiti-artist-409ef5ee6b01

이 블로그의 저자는 이미 페인팅 로봇 사용을 위해 인공지능을 접목하여 아직까지 예술로서 제대로 인식되어 대접을 받지 못하지만 나름 예술로서 확립을 위해 오랜기간 동안 아방가르트 즉 혁신 예술 측면에서 상당한 노력을 경주해 았던 것으로 보인다. 아직 대부분의 예술계는 AI페인팅 작업을 예술로 간주하지 않으며 예전에 거리 예술이었던 그래피티(Graffiti)가 받았던 대접을 받고 있는 수준 정도에 머물러 있다고 본다. 거리 예술은 대단히 흥미로운 예술 중 하나였지만 예술계에서는 완전히 무시되었다. 마찬가지로 오늘날의 AI 예술은 분명히 전위적이기때문에 대중이 그것을 깨닫게 되는 것은 시간상의 문제만이 남아 있다고 본다.

 

아울러 저자의 AI 페인팅의 출발점을 사진을 포함하는 특정 이미지에 예술성을 구현함에 있어서 기존의 수많은 미술가의 스타일을 AI를 사용하여 재현하는데 초점을 맞추었다. 대표적인 예가 반 고호의 Saint Paul Asylum, Saint Remy로서 모든 자연 환경의 요소들을 감각적으로 캐치하여 특유의 미술적 필치로 표현하고 있다. 이러한 아름다운 미술적 필치의스타일을 AI 를 통해서 구현해 보기 위한 노력으로서 다음의 튜빙겐 전경의 사례를 들고 있다.

이러한 예술은 설사 유화 페인팅에 능숙하더라도 쉽게 구현해 보기는 대단히 어려다고 볼 수 있을 것이다. 그렇다고 AI 코딩에 능하다고 하더하도 그리 쉬운 작업은 아닌 듯하다.

 

어쨋든 블로그 저자의 말대로 아래 그림에서 처럼 하이퍼링크된 tutorial 을 방문하여 소정의 코드 art.py를 다운 받아 실행시켜 보기 위해 수일 간의 노력을 경주하였으나 제대로 실행시키기가 어려웠다.

이러한 실패는 그 후에도 여러 번 있었는데 원인 주으이 하나는 지금은 그다지 사용하지 않는 TensorFlow 버전 1.x 를 사용하는 점이었으며 코드 자체가 지나치게 하드웨어적이어서 제대로 손 보기가 어렸웠다. 물론 구글 Colaboratory를 사용하면 TensorFlow 버전 1.x 설치 작업이 그다지 어렵지 않지만 버전 관련해서 꼬리를 물고 에러가 생성될 때마다 심리적 좌절감이 물밀듯이 일어난다.  이런 실패나 좌절이 여러 번 되풀이 되면 그만 손을 땔 수밖에 없지만 심리적인 패배의 후유증은 그대로 남을 수밖에 없을 것이다.

 

의외의 해답은 구글에서 찾을 수 있었다. Style GAN 이란 결국 Neural Style Transfer 라는 타이틀 내용으로 설명이 잘될 것이다. 한어직역은 신경 스타일 전이로 표현되었는데 상당히 어색해 보인다. 이블로그에는 Neural Style Transfer 외에도 몇가지 중요한 GAN 알고리듬이 수록되어 있으니 참조하기 바란다.

직접 Colab 을 열어 copy & paste 로 self 작업을 해 보도록 하자.

 

구글 텐서플로우 style transfer

https://www.tensorflow.org/tutorials/generative/style_transfer?hl=ko 

 

 

구글 블로그에서의 미술적 화풍의 예는 칸딘스키의 작품을 선택하고 있다. 칸딘스키는 동 시대의 피카소와 마티스와 견줄만한  러시아의 위대한 추상화 작가로 알려져 있다. 아래 그림의 중앙이 바로 칸딘스키의 추상화적 예술적 스타일을 보여준다. 인쪽의 누렁이 사진을 추상화적인 표현을 전이시켰을 겨우의 결과를 오른쪽에 보여주고 있다. 이와 같은 스타일 전이에서의 중요한 특징은 스타일 전이 대상 이미지 오브젝트의 특징(feature)을 나타내는 윤곽선은 잘 보존 된다는 점이다. 이러한 예제를 통해서 스타일 전이의 특징을 잘 살펴 볼 수 있겠으나 그리 훌륭한 예제 선택은 아닌 듯하다.

칵테일잔 사진에 칸딘스키의 추상화를 적용해 보자.

 

좀 더 명확하게 스타일 전이 효과를 보여 줄 수 있는 작품 사례를 들어 보자. 항구 풍경을 반고호의 Saint remy 스타일로 처리한 결과이다. 아무리 미술에 초보라 할지라도 얻어진 작품 결과에 대해서는 과연 AI가 그린 작품인가? 고개를 끄떡일 수 밖에 없을 것이다. 첫 시도 치고는 만족스러운 결과가 얻어졌다. 하지만 유명 화가인 반 고호의 다양한 작품이 있으며 특히 초기 미술 습작에서 많이 다루는 정물화라든지 또는 자화상 초상화에서 사용된 기법을 어떻게 전이할 것인지는 Style GAN 코드를 여러번 시험적으로 실행해야 경험이 쌓이게 될 것이다.

 

 

 

 

몇가지 이미지에 작업해 본 결과 첫번째 마카오 항구 사진과 마지막 호숫가집이 가장 성공적인 듯 하다.

 

Under Construction...