생성형 AI 라마-3.1 한국어 챗봇 시스템을 groq.com 에서 체험해보자

groq.com

오픈소스 라마-3 버전을 소개하였으나 챗봇 코드 실행이 이루어지지 못해 아쉬웠다.

유튜브 라마-3 에 관한 영상들 중에서 생성형 AI 의 응용 인터페이스(API) 인 groq.com  을 소개하여 한번 들어가 보았다.

이것 혹시 일론 머스크가 투자하는 AI 회사 아닌가요??? groq 와 가장 유사한 단어로 grok 가 있는데 이는 소통한다 또는 공감한다는 의미를 가지며, 일론 머스크 관련된 X 의 AI는 x.ai.com 으로 서로 다른 AI 시스템임에 유의하자.

 

최근의  생성형 AI 들은 파라메터수가 70B ~ 80B 수준인데, 이 정도급은 GPU도 없는 일반 사용자 PC에서는 실행 자체가 어려우므로 필히 네트워크에 의존해 실시간으로 실행해야 한다.

오른쪽 상단에 보면 지금까지 발표된 다양한 오픈소스 생성형 AI 응용 인터페이스를 포함하고 있어, 그 중 라마-3.1 8B 버전을 선택하였다. 

Prompt 입력

• 키보드 타이핑
• 마이크 입력도 가능하다. 마이크를 클릭 후 빨간 색 상태에서 말하면 보이스 신호 파형 그래픽이 보인다. 

• 말이 끝났으면 빨간색 마이크 아이콘을 클릭하면 입력이 이루어지고 아래와 같은 결과가 출력된다.
• 한국말 알아듣고 답은 영어로 하네요.

• 한국말로 답해달라 요구하니 그대로 하는군요!
•  

 

간단한 성능 시험이었는데 제법 마음에 드는군요.

이 보다 사용법이 더 쉬울 수는 없겠죠?

생성형 AI 작가라면 이 정도 사용법은 알아야 겠지요?

요 다음에는 Category, Subcategory  문제로 제대로 된 성능이 나오는지 체크해 볼 까해요.

 

라마-3.1 70B 버전을 선택해서 적용해 보자. 70B 버전은 8B 버전의 무려 9배에 달하는 학습을 마친 AI 이다.

8B버전에서 Prompt="세종대왕께서 한글을 만든 동기를 한국말로 설명해주세요. " 로 문의한 결과 핵심을 찌르는 답을 얻지 못해 Prompt 에 15줄이내로 간단히 설명해달라는 Instruction Following 을 부가하여 실행싴며 보았다. 다음의 결과를 참조하자. 정확한 모법 답안으로 졸 수 있는 결과이다.

 

Response

세종대왕은 당시 백성들이 글을 읽고 쓰는 데 어려움을 겪고 있었다는 것을 알고, 이를 해결하고자 한글을 창제하였습니다. 당시 한국어는 한자로 표기되었는데, 한자는 발음과 뜻을 모두 나타내야 하므로 매우 복잡했습니다. 또한, 한자는 중국에서 전해진 문자로, 한국어의 특성을 제대로 표현하지 못했습니다.

세종대왕은 이러한 한자의 한계를 극복하고자, 한국어의 특성을 고려하여 새로운 문자를 만들고자 하였습니다. 또한, 백성들이 쉽게 글을 읽고 쓸 수 있도록, 간단하고 쉬운 문자를 만들고자 하였습니다.

이러한 동기를 바탕으로, 세종대왕은 1443년에 한글을 창제하였습니다. 한글은 한국어의 특성을 고려하여, 14개의 자음과 10개의 모음으로 구성되었습니다. 또한, 한글은 한자와는 달리, 발음과 뜻을 따로 나타내지 않고, 발음만을 나타내는 문자로 설계되었습니다.

세종대왕은 한글을 창제함으로써, 백성들이 쉽게 글을 읽고 쓸 수 있도록 하였습니다. 또한, 한국어의 특성을 제대로 표현할 수 있는 문자를 만들었으며, 한국어의 발전을 도왔습니다.

 

Gemini 와 결과를 비교해 보자.

다음 블로그 주제로는 생성형 AI Category, Subcategory  문제다루어보도록 할 예정입니다.