생성형 AI 가 제공한는 Response 문장의 1. Writing Quality 평가

구글 문서 형태로 제공되는 요령 또는 규칙 모음(rubric) 을 필요시 볼 수 있도록 크롬 북마킹 해두었다가 항상 과제 작업에 앞서  불러 올려둘 필요가 있다.

1. Writing Quality

실전 문제에 앞서 그렇게 어렵지 않은 훈련과제 시험을 통과하도록 하자. 채점 결과는 프리랜서를 유지하기 위한 중요한 성적이므로 신중하게 읽고답하도록 한다. 문장이 한 번에 눈에 들어 오지 않을 경우 서둘러서 번역기를 사용하는 게 좋다. 필요하다면 간단한 메모 정리도 도움이 된다.

 

Start Course 버튼을 눌러 훈련과제를 시작한다.

 

1~2 시간이라 되어 있지만 오랜만에 하는 아직 영어 리딩이 익숙치 않다면 여러가지 의미 파악을 제대로 하기 위해서 3배 정도의 시간이 필요할 수도 있다. 

 

태스크 Oberview 초입에 동영상 시범 해설이 있긴하지만 발음들이 시원찮아 이해하기 어려워도 결국 영상 뒤에 이어나오는 문서 텍스트를 잘 읽어 완전히 이해해야 한다. 주어지는 과제는 항상 2개의 Response 가 제공되며, 이들을 각각 동일한 채점 규정하에서 평가하여 비교 후 판단 결과를 영문으로 작성 한다. 

 

업무 명칭이 Languages Quality Evaluations 인 업무에서 체크 포인트들을 살펴보자.

Writing Quality에서 Overall Quality까지 기본 6가지를 체크 평가한 후  Comparison Ranking 을 매긴 다음 마지막 판단 결과 Judgement 를 신속하게 번역기를 사용 영문으로 작성한다.(원어민 아닌 다음에는 번역기가 훨씬 더 빠름)

 

Writing Quality 등급을 매기기 위해서는 주어진 문장을 음미하면서 잘 읽어 보도록 한다.(Readability)

때로는 문장에 한 두 글자 일본어가 섞여 나오는 경우가 있는데, 이 단어의 뜻을 몰라도 문장 전체 이해에는 지장이 없을 수가 있다. 이는 철자(spelling) 문제로 봐야 하며 minor issues 로 평가하면 된다.  아울러 철자와 문법 문제(주어 동사 목적어 들의 순서가 바뀌면 많이 이상하며 문장 순서들이 뒤바꿔도 의미 전달이 잘 안된다) 여부 즉 Langauge Mechanics를 를 체크한다. 이런 정도의 문장이라면 읽어 보는 순간 무슨말인지 이해하기 어려우며, 문들이나 문단의 의미 전달이 파괴된 수준일 것이다.

Response 에서의 문장과 문단이 Prompt 의 요구와 관련하여 제대로 된 문장인지와 개요(outline)와 문장이 의미하는 바와 뜻이 제대로 전달 이해가 되는지(coherence) 판단해 보자. 마찬가지로 Prompt 의 요구와 관련하여 Coherence 는 문장이 의미하는 바가 일관되게 유지 전달되는지를 보는 것이다.

 

이러한 3가지 요소는 작가가 읽어 보는 과정을 통해서 문장과 문단들이 제대로 이해(Understanding)되는지 판단하는 것이 관건이다.

 

major issues, minor issues, No issues 중 하나로 Writing Quality 등급을 평가 ( How to Rate Writing Quality ) 하자.

아래에 구구절절이 예를 들어 놓았는데 일단 요약해 보자. 만약 철자나 문법 문제가 여러개 발견되고 심각하면 major issues 이다.

반면에 소소하게 철자 한두개 라면 이는 minor issues 이다.

읽어보니 깔끔하고 의미 전달이 잘되면 No issues 이다.

시간 여유가 되면 아래의 영문 예를 자세히 읽어 보기 바란다. 우리 말과 영문 사이에 차이점이 있을 수도 있다.

 

Writing Quality in AI communication is a critical aspect that influences clarity, comprehension, and engagement. We'll explore 3 key elements:

1. Readability, Language & Mechanics, Outline & Coherence

1. Understanding Readability 📖

What is Readability?(가독성)

• Readability is the extent to which the response is free from grammatical or spelling errors that:(문법 철자 오류)
• would obscure a reader’s ability to understand the content; or ( 작가의 내용 이해 능력이 흐려지게끔 하는가?)
• create an impression of unreliability in the response. (응답을 신뢰할 수 없다는 느낌 또는 인상을 주는가?)

How to evaluate

• After carefully reading the response, if you aren’t easily able to spot a problem with spelling or grammar then you can consider the response as “No Issues”(Response를 주의 깊게 읽고 철자,문법 오류가 없을 때 No Issues 체크)
• If there are multiple glaring errors in spelling or grammar select the grading “Major Issues”

2. Understanding Language & Mechanics 📝

What are Language & Mechanics? ( 복문 구조로 인해 문장이 길어지게 되면, 접속사 사용, 숨표와 마침표 사용을 비롯 그 구조가 중요해진다.)

• Language mechanics refers to correctly and effectively using language elements like word choice, sentence structure, and punctuation. (단어선택, 문장구조 및 마침표)

How to evaluate

• Ask yourself if any ideas were difficult to follow for lack of effective mechanics.

3. Understanding Outline & Coherence 📄

What is Outline & Coherence?

• Outline and coherence involves the logical structure and flow of the content. It's about how well the response is organized and whether the ideas follow a sequence that makes sense to the reader.
• (Prompt에 대한 Response 문장의 논리적 구조와 콘텐트의 흐름이 얼마나 잘 처리되어 있는지, 아이디어를 사용자에게 잘 전달하고 있는지)

How to evaluate

• Ask if you found yourself confused by the flow of content or if the way the response is structured made sense given the goals of the response.

 

Note:

Minor Writing Quality issues alone are usually not grounds to heavily prefer one response over another

(Writing Quality 는 Response 비교에서 큰 비중을 차지하지는 않는다)

 

Writing Quality Rating Examples

1. Readability

Prompt: "Describe the process of photosynthesis."

Bad Example: "Photosynsis invovles, light, water, & Co2 to make oxygn & glucose, it's happens in leafs." ❌

• Multiple spelling and grammatical errors disrupt readability, making the response difficult to read.

2. Language Mechanics

Prompt: "Explain Newton's laws of motion."

Bad Example: "The principle where first a body at rest stays at rest unless acted on and an object in motion stays in motion and force equals mass times acceleration are Newton’s laws of motion." ❌

• Lack of punctuation and poor ordering of ideas make this response very difficult to read.
• (마침표 처리에 문제가 있고, 아이디어 전개 순서가 엉망이라 Response 읽기가 힘들다)

3. Outline & Coherence

Prompt: "Outline the benefits of a balanced diet."(균형잡힌 다이어트의 이점 개요)

아래 영문을 읽어보면 각 문장 별로 의미 전달이 연결됨이 없이 비약이 심하고 끓어짐읗 쉽게 알 수 있다.

Bad Example: "A balanced diet is good. It's about having the right foods. Nutrients and vitamins are important. You should eat fruits and vegetables. Proteins are good for muscles. Carbs provide energy. But don't forget about dairy. Or maybe plant-based alternatives. Water is important too. So is exercise." ❌

• This response is disorganized, jumping randomly between points related to a balanced diet in a jumbled paragraph. 
• (읽어 보면 영어 문장 사이의 비약이 심해 작성 품질이 심하게 떨어짐을 쉽게 알 수 있다)

 

Please rate Response B on its writing style:

Prompt:

What made the Roman Empire great?

 

Response B:

The Roman Empire was one of the greatest empire in human history, making tremendous advances in all things from infrastructure to governance systems. At its height, Rome ruled over nearly all lands surrounding the Mediterranean Sea. Some reasons why the Roman Empire was so impactful and successful included it's affective military strategies for expansion, it has establishment of an extensive road network for communication and trade, and its development of Roman law which become a foundation for modern legal systems. Of course, the Romans were also renowned because they contribute architecture, language, and culture that persist until today. While the empire at the end of the day declined, the big innovations of the Romans allowed it to have enjoyed such widespread influence that it shaped the entire whole modern world.

 

major issues

(위 예제는 영문이므로 이상한 문구 사용이라든지, 또는 시제 불일치가 많이 포함되어 있는데, 한글에서는 이런 상황 발생이 어려워 보인다. 그러므로 그냥 참고만 하자.)

Correct!

Correct! There were glaring mistakes with Response B such as weird phrasing(이상한 문구나 자구), wrong tenses(틀린 시제), and other mistakes that made the passage hard to read. Serious issues in spelling or grammar are quite rare in the models you will be evaluating. If there are glaring issues that stand out to you upon a normal read-through, that should be a tip off.

 

Writing Quality Quiz - Follow-Up

Below is an example of how someone might explain the rating/ranking of the two responses.

---

Response A is superior because it presents the reasons the Roman Empire was great in a logical way and does not make some basic grammatical errors.

 

Response B contains many errors such as incorrect tenses, wrong form of "it's/its", incorrect spellings, incomprehensible word ordering, and some strange word choices. Anyone who reads response B would be caught up on one or more of these mistakes.

 

Writing Quality  다음 채점 항목인 Verbosity, Instruction Following 으로 넘어가자.

https://ejleep1.tistory.com/1575