--------------------------------------------------------------------------------------------------------------
다음 블로그의 지원과정 사례( )를 참조하시고 본인 이름(First Name, Last Name) 및 정확한 이메일 주소를 필자의 이메일 ejleep1@gmail.com 으로 보내주시면 됩니다.
https://ejleep1.tistory.com/1573
--------------------------------------------------------------------------------------------------------------
최근 Outlier 사의 내부 조직 변경으로 인해 피드백 받았던 채점 결과들이 거의 다 사라져버렸군요.
앞으로 보여줄 사례들도 메모해 두었던 내용 조금과 기억에 남은 문제 두세개 정도 입니다.
어느 독자분께서 task 내용 누출 아니냐는 우려도 있었지만 Prompt Analysis 또는 Prompt Engineering 책자에 다 나와 있는 뻔한 내용입니다.
비슷한 예제를 만들기 위해서는 Prompt 하나를 준비해서 ChatGPt와 Gemini 에 입력해 2개의 Response 를 얻어내면 되는 문제입니다.
아래의 문제는 필자의 채점 결과와 Outlier의 모법 답안과 큰 괴리가 있었던 예제로서 생성형 AI 입력 시 참고가 될만한 사례입니다.
Turn #1 - Prompt
제1차 세계대전은 어떻게 시작되었나요? 가브릴로 프린치프가 프란츠 페르디난드를 암살한 것에 대해서는 알고 있지만 그 이상은 모릅니다. 그는 누구와 함께 일했고, 그들은 어떻게 일했나요?
| Response 1 가브릴로 프린치프의 프란츠 페르디난트 대공 암살은 실제로 제1차 세계대전을 촉발한 불꽃이었지만, 그것은 부싯돌 더미에 떨어진 불꽃에 더 가깝습니다. 더 자세히 살펴보면 다음과 같습니다. 민족주의: 1900년대 초 유럽은 많은 민족이 독립을 갈망하는 민족주의의 온상이었습니다. 프린시프는 오스트리아-헝가리의 지배로부터 슬라브족을 해방시키려는 "블랙 핸드"라는 그룹에 속한 세르비아 민족주의자였습니다. 동맹 시스템: 유럽 국가들은 복잡한 동맹망에 얽혀 있었습니다. 오스트리아-헝가리는 블랙 핸드에 대한 세르비아의 지원을 위협으로 보고 세르비아에 전쟁을 선포했습니다. 세르비아와 동맹을 맺은 러시아는 이에 대응하여 군대를 동원했습니다. 이는 오스트리아-헝가리와 동맹을 맺은 독일이 러시아와 러시아의 동맹국인 프랑스에 전쟁을 선포하면서 도미노 효과를 촉발시켰습니다. 그 후 프랑스, 러시아와 동맹을 맺은 영국도 분쟁에 가담했습니다. 프린치프의 암살 음모: 음모자들: 프린치프는 혼자가 아니었습니다. 블랙 핸드는 다른 여러 구성원과 함께 무기를 공급하고 행위를 조정하여 암살을 계획했습니다. 암살: 1914년 6월 28일 사라예보를 공개 방문하는 동안 프린시프와 그의 공범자들은 대공의 자동차 행렬 경로를 따라 자리를 잡았습니다. 한 명은 수류탄을 던졌는데 빗나갔지만 프린시프는 프란츠 페르디난드와 그의 아내 소피를 근거리에서 쏘았습니다. 더 큰 갈등을 불러일으키는 불꽃: 암살이 직접적인 계기가 되었지만, 민족주의와 동맹체제가 만들어낸 긴장된 분위기를 기억하는 것이 중요합니다. 이러한 요인으로 인해 더 많은 국가가 분쟁에 빠르게 참여하게 되었고, 지역적 사건이 전면적인 세계 대전으로 확대되었습니다. |
| Response 2 가브릴로 프린치프의 프란츠 페르디난트 대공 암살은 실제로 제1차 세계대전을 촉발한 불꽃이었지만, 그것은 부싯돌 더미에 떨어진 불꽃에 더 가깝습니다. 더 자세히 살펴보면 다음과 같습니다. 민족주의: 1900년대 초 유럽은 많은 민족이 독립을 갈망하는 민족주의의 온상이었습니다. 프린시프는 오스트리아-헝가리의 지배로부터 슬라브족을 해방시키려는 "블랙 핸드"라는 그룹에 속한 세르비아 민족주의자였습니다. 동맹 시스템: 유럽 국가들은 복잡한 동맹망에 얽혀 있었습니다. 오스트리아-헝가리는 블랙 핸드에 대한 세르비아의 지원을 위협으로 보고 세르비아에 전쟁을 선포했습니다. 세르비아와 동맹을 맺은 러시아는 이에 대응하여 군대를 동원했습니다. 이는 오스트리아-헝가리와 동맹을 맺은 독일이 러시아와 러시아의 동맹국인 프랑스에 전쟁을 선포하면서 도미노 효과를 촉발시켰습니다. 그 후 프랑스, 러시아와 동맹을 맺은 영국도 분쟁에 가담했습니다. 프린치프의 암살 음모: 음모자들: 프린치프는 혼자가 아니었습니다. 블랙 핸드는 다른 여러 구성원과 함께 무기를 공급하고 행위를 조정하여 암살을 계획했습니다. 암살: 1914년 6월 28일 사라예보를 공개 방문하는 동안 프린시프와 그의 공범자들은 대공의 자동차 행렬 경로를 따라 자리를 잡았습니다. 한 명은 수류탄을 던졌는데 빗나갔지만 프린시프는 프란츠 페르디난드와 그의 아내 소피를 근거리에서 쏘았습니다. 더 큰 갈등을 불러일으키는 불꽃: 암살이 직접적인 계기가 되었지만, 민족주의와 동맹체제가 만들어낸 긴장된 분위기를 기억하는 것이 중요합니다. 이러한 요인으로 인해 더 많은 국가가 분쟁에 빠르게 참여하게 되었고, 지역적 사건이 전면적인 세계 대전으로 확대되었습니다. |
필자의 채점 결과와 모법 답안 비교
Response 1
1. Writing Quality: 2
2. Verbosity: 2
3. Instruction Following: 4
4. Truthfulness: 3 <--> 5
5. Harmfulness and Safety: 3
6. Overall Quality: 2 < --> 4
7. Expected Language: 2
Response 2
1. Writing Quality: 3
2. Verbosity: 1< --> 2
3. Instruction Following: 4
4. Truthfulness: 3 <--> 4
5. Harmfulness and Safety: 3
6. Overall Quality: 2 <--> 3
7. Expected Language: 2
판정
@Response 1 과 @Response 2 둘 다 prompt가 요구한 instruction following을 따르고 있지만, 둘 다 암살법 프란치프가 누구와 함께 일했는지에 대해서 사실이 아닌 틀린 내용을 기술하고 있다. 암살법 프란치프가 소속된 조직은 @Response 1의 “블랙핸드”도 아니며, @Response 2의 “노란우산”도 아닌 “젊은 보스니아”라는 조직이다.
@Response 1에서 문맥상 오류가 있는 ‘행위를 조정하여’을 ‘테러 행위를 교사하여’로 수정할 필요가 있다.
@Response 1은 1차세계대전이 어떤 사건으로 인해 일어났는지 역사적 배경과 암살사건과 관련된 인물의 음모 및 소속된 조직, 그리고 이 사건으로 인해 촉발된 유럽지역의 분쟁에 관해서 알기쉽게 잘 조직화하여 설명하고 있는 반면에, @Response 2는 내용이 지나치게 축약되었다.
※ 모범 답안에서 “내가 Gemini에 물어보니 "Young Bosnia" 라는데 ChatGPT4는 "Black Hand”라고 답하는군요.
모범 답안 조차도 논쟁거리(Controversary)인 답을 가지고 채점하지 않았나 싶습니다. 사실 Truthfulness를 따짐에 있어서 10분 이상의 검색에 의해서도 검증이 잘 안되는 경우 점수를 상당히 낮게 2점 정도 부여하는 것이 원칙이라 보여집니다. 2점에서도 verification 이 잘 안되므로 이는 "CANNOT ASSESS" 로 보면 되겠지요.이 점 참고하시기 바랍니다.
다음은 위 내용을 구글 번역기를 통하여 출력한 결과입니다.
Justification
Both @Response 1 and @Response 2 follow the instructions requested by the prompt, but both describe incorrect information about who Franchif worked with. The organization that Francis belongs to is neither the “Black Hand” of @Response 1 nor the “Yellow Umbrella” of @Response 2, but an organization called “Young Bosnia.”
In @Response 1, ‘by coordinating an act’, which contains an error in context, needs to be changed to ‘by instigating a terrorist act’.
@Response 1 explains in an easy-to-understand manner the historical background of what events led to World War I, the conspiracy and organization of the people involved in the assassination, and the conflicts in Europe triggered by this event. On the other hand, @Response 2's content is overly abbreviated.
@Response 1 is slightly better than @Response 2.
Feedback 된 모법 답안
Response 1’s formatting is hard to understand.
Response 2 contains false information (Yellow Rose) The actual organization that Princip worked with was ‘Black Hand’.
5 errors
Answer the questions below | Response#: 5 | Candidate#: 1 | Field: Truthfulness
Your response: 3
Expected: 5
Answer the questions below | Response#: 5 | Candidate#: 1 | Field: Overall Quality
Your response: 2
Expected: 4
Answer the questions below | Response#: 5 | Candidate#: 2 | Field: Verbosity
Your response: 1
Expected: 2
Answer the questions below | Response#: 5 | Candidate#: 2 | Field: Truthfulness
Your response: 3
Expected: 4
Answer the questions below | Response#: 5 | Candidate#: 2 | Field: Overall Quality
Your response: 2
Expected: 3
'쳇봇' 카테고리의 다른 글
| Writing Quality (0) | 2024.07.14 |
|---|---|
| 왜 생성형 AI 한국어 프리랜서 작가가 되어봐야 할까? (0) | 2024.07.14 |
| Category Subcategory 지정에 따른 Prompt 생성 및 Rewrite (0) | 2024.07.05 |
| 생성형 AI 학습을 위한 작가의 창의적인 한국어 Prompt 생성 #5(업데이트 진행 중) (2) | 2024.07.01 |
| 딥러닝으로 자신만의 챗봇 만들기 (0) | 2024.06.24 |