인공지능의 문장생성 요약 능력 평가에 관하여

 

 

초거대 언어 모델 또는 LLM(Large Language Model) 은 방대한 양의 데이터를 학습하는 것으로 알려져 있다. 이들 언어 모델이 가진 가장 뛰어난 능력 중의 하나는 문장 생성과 요약(summary) 능력일 것이다.

 

우리는 LLM 알고리듬 중 맥락(context)를 추출하여 활용하는 CBOW(Continous Bags of Words) 공부 과정에서 흔히 접하는 다음 문제를 알고 있다.

 

다음 문장 중에서 ? 에 들어갈 적합한 단어는 무엇인가요?

Tom was watching TV in his room. Mary came into the room. Mary said hi to ?.

 

이 문제에서 “Tom 이 방에서 TV를 보고 있었고, Mary 가 그 방에 들어 왔다고 합니다.이 문장의 맥락을 잘 생각해 보면 Mary 가 Tom 에게 인사를 건넸다가 정답입니다.

 

즉 예문의 ? 로부터 18번째나 앞에 나오는 Tom을 기억해야 합니다, 만약 CBOW 모델의 맥락 크기가 10개 로 한정 된다면 이 문제에 제대로 답할 수 없을 것입니다.

 

이 내용은 Deep Learning from Scratch 2권: 밑바닥부터 시작하는 딥러닝 2, 한빛 출판사

197페이지 내용입니다.

 

순환 신경망(RNN)만을 사용하여 학습 데이터를 처리하려면 어마어마한 학습 처리 부담이 뒤따를 것입니다. 그렇다면 과연 엄청나게 길다고도 할 수 있는 장편 소설 문제 요약을 어떻게 처리하는 것일까요?

 

다음의 유도성 질문을 통해 인공지능의 능력을 파악해 보기로 하죠.

Prompt: 김용의 무협지 천룡팔부에서 모용박이 불가에 귀의하게 되는 스토리를 요약해주세요

 

천룡팔부는 김용 작가 초기의 대작으로 그 길이가 10권을 넘는 장편 무협소설로서 요나라, 송나라 , 대리국 및 서하 시대를 역사적 배경으로 삼는다. 초반에 대연나라 복원을 꿈꾸는 강호의 초고수 모용박은 강호의 문파들을 규합하여 요와 송의 국경인 안문관에서 요나라의 초고수이며 장수인 소원산 가족 일행을 잔인하게 암살하여 요와 송의 전쟁을 촉발 시키려는 음모를 꾸며 실행하였고, 이로 인한 강호의 얽히고 설킨 복수극 전개를 중요 내용으로 한다. 너무 길어 등장 인물을 잘 기억하기가 힘들 정도의 장편 소설이다.

 

일단 Gemini 와 ChatGPT를 대상으로 소설 후반의 중요한 내용 전개에 대해서 제대로 알고 있는지 즉 학습을 제대로 했는지 질의하여 그 결과 대답을 분석해 보기로 한다.

 

Prompt: 김용의 무협지 천룡팔부에서 모용박이 불가에 귀의하게 되는 스토리를 요약해주세요

Answer:

천룡팔부: 모용박의 불문 귀의 스토리 요약

김용의 소설 『천룡팔부』에서 연나라의 복국을 꿈꾸던 야심가 모용박이 소림사 무명승(청소승)에 의해 불문에 귀의하게 되는 과정은 작품 전체를 관통하는 '원한의 해소'와 '공(空)'의 철학을 보여주는 명장면입니다.

1. 배경: 평생의 야욕과 숨어 지낸 세월

모용박은 선조들의 유업인 '대연(大燕)'의 복국을 위해 평생을 바친 인물입니다. 그는 송나라와 요나라 사이의 전쟁을 유도하기 위해 소원산 일가를 습격하는 '안문관 사건'을 조작했습니다. 이후 자신의 죽음을 위장하고 소림사의 장경각에 몰래 숨어들어 수십 년간 소림파의 무공 비급을 훔쳐 배우며 때를 기다렸습니다.

2. 소림사 장경각에서의 대결 (사자대면)

소설 후반부, 소림사 장경각에서 다음과 같은 인물들이 운명적으로 마주하게 됩니다.

모용박과 모용복: 복국을 꿈꾸는 부자.

소원산과 소봉: 안문관 사건의 피해자이자 복수를 위해 나타난 부자.

양측이 피할 수 없는 혈투를 벌이려 할 때, 오랫동안 장경각에서 비질을 하며 그들을 지켜봐 온 **무명승(청소승)**이 나타납니다.

3. 무명승의 꾸짖음과 '무공의 독'

무명승은 모용박과 소원산이 소림사의 무공을 훔쳐 배우면서 생긴 신체적 부작용(무공의 독)을 정확히 지적합니다. 불교의 자비로운 마음(불법)을 닦지 않고 살상무예인 무공만 연마한 탓에, 두 사람의 몸은 이미 극심한 내상으로 죽음의 문턱에 와 있었습니다.

무명승은 "복국이나 복수 같은 속세의 집착이 결국 스스로를 파멸로 이끌고 있음"을 설파하지만, 두 사람은 처음에는 이를 받아들이지 못합니다.

4. 가사 상태와 깨달음

무명승은 압도적인 무공으로 모용박과 소원산을 차례로 타격하여 가사(假死) 상태에 빠뜨립니다. 죽음의 문턱에서 두 사람은 육신과 정신이 분리되는 경험을 하며, 평생 집착해왔던 권력, 야망, 복수심이 얼마나 덧없는 것인지를 비로소 깨닫게 됩니다.

이후 무명승이 그들을 다시 깨웠을 때, 두 사람은 마치 전생의 업보를 다 털어낸 듯한 평온함을 느끼게 됩니다.

5. 결과: 원수에서 도반으로

살아난 모용박은 자신의 야욕이 아들 모용복에게 짐이 되었음을 깨닫고, 소원산 또한 복수심이 자신을 괴물로 만들었음을 인정합니다. 두 사람은 과거의 원한을 씻어내고 서로를 용서하며, 무명승의 제자가 되어 소림사에서 정식으로 출가하여 불문에 귀의합니다.

 

요약적 의미

모용박의 귀의는 '복국(復國)'이라는 거대한 망상에서 벗어나 **'공(空)'**의 경지에 이르는 과정을 상징합니다. 이는 소설의 주제인 "인간의 모든 고통은 집착에서 비롯된다"는 메시지를 극명하게 보여주는 결말입니다.

 

필자는 이 소설을 몇 십년에 걸쳐 거의 3번째 읽으면서 감용 작가가 강조하는 중요한 맥락을 이해하게 되었고 이로부터 생각난 유도성 질문을 던졌다. 물룐 요약적 의미는 너무 흔한 수준의 요약으로 큰 의미는 없으나 4번 및 5번 항목의 결과이 내용은 정말 대단한 요약 결론이라고 말할 수 있다. 작가 김용이 요약한다면 모를까 인공지능이 이 정도 할수 있으리라고는 이번 분석 전까지 상상도 하지 못할 수준이라 느낀다.

 

이외에도 사조영웅전, 신조협려, 의천도룡기, 소오강호, 녹정기를 비롯한 김용작가의 여러편의 징편 무협 소설이 있다. 이미 예전에 한번씩 다 읽었으나 지금 기억이 가물가물하므로 Gemini 를 대상으로 유도 심문을 해보려면 이들을 모조리 다시 다 읽고난 후에나 가능할 것 같다. 

 

물론 ChatGPT 에게도 동일한 질문을 해보았으며 다음의 결과를 알려주었는데, 말짜집기라는 인상이 강하게 남는 편이다.

Answer:

김용(金庸)의 무협지 **〈천룡팔부〉**에서 **모용박(慕容博)**이 불가(佛家)에 귀의하게 되는 과정은 다음과 같이 요약할 수 있습니다.

모용박의 불가 귀의 스토리 요약

모용박은 연나라(燕)의 후예로, 나라를 부흥시키겠다는 집념에 평생을 바친 인물입니다. 이 집념 때문에 그는 무림을 교란하는 온갖 음모를 꾸미며, 소봉(喬峰)의 아버지 소원산과 함께 배후에서 무림 대혼란을 조종합니다. 겉으로는 죽은 것처럼 위장한 채 숨어 지내며, 무림의 고수들을 이용해 자신의 목적을 이루려 했습니다.

그러나 소림사에서의 최종 대면에서 모든 진실이 드러납니다. 이 자리에서:

자신의 야망이 수많은 무고한 희생과 원한을 낳았다는 사실

아들 모용복(慕容復) 역시 집착에 사로잡혀 파멸로 향하고 있다는 현실

평생 추구해 온 복국(復國)의 꿈이 허망한 집착에 불과하다는 점

을 직면하게 됩니다.

이때 소림사의 고승 **무명노승(無名老僧)**이 등장하여,

모용박과 소원산이 쌓아온 **살업(殺業)**과 집착의 허망함을 불법으로 깨우칩니다. 무명노승은 두 사람의 내상을 불법으로 치료해 주며, 무공보다 중요한 것은 마음의 해탈임을 설파합니다.

결국 모용박은:

평생을 지배해 온 복국의 집념을 내려놓고

자신의 죄업을 참회하며

소림사에 출가해 불가에 귀의

하게 됩니다. 이는 김용 작품 전반에 흐르는 주제인 **“집착은 파멸을 낳고, 내려놓음만이 구원이다”**를 상징적으로 보여주는 결말입니다.

 

이미 인공지능이 생활에 보급된지 수년이 흘러가고 있는데 그 능력이 적나라하게 파혜쳐지고 있다. 이와 같은 장편 소설의 학습 후 요약 및 문장 생성 능력 평가를 통해서도 성능의 명암이 갈리면서 승패가 들어나지 않는가 한다.