Writing Quality

1. Writing Quality

실전 문제에 앞서 그렇게 어렵지 않은 훈련과제 시험을 통과하도록 하자. 채점 결과는 프리랜서를 유지하기 위한 중요한 성적이므로 신중하게 읽고답하도록 한다. 문장이 한 번에 눈에 들어 오지 않을 경우 서둘러서 번역기를 사용하는 게 좋다. 필요하다면 간단한 메모 정리도 도움이 된다.

 

 

 

Start Course 버튼을 눌러 훈련과제를 시작한다.

 

 

 

1~2 시간이라 되어 있지만 오랜만에 하는 아직 영어 리딩이 익숙치 않다면 여러가지 의미 파악을 제대로 하기 위해서 3배 정도의 시간이 필요할 수도 있다. 

 

 

 

아래와 같이 동영상 시범 해설이 있긴하지만 발음들이 시원찮아 결국 영상 뒤에 이어나오는 텍스트를 잘 읽어 완전히 이해해야 한다. 주어지는 과제는 항상 2개의 Response 가 제공되며, 이들을 각각 평가하여 비교 후 판단 결과를 작성 한다.

 

 

 

업무 명칭이 Bulba Languages Quality Evaluations 인 업무에서 체크 포인트들을 살펴보자.

Writing Quality에서 Overall Quality까지 기본 6가지를 체크 평가한 후  Comparison Ranking 을 매긴 다음 마지막 판단 결과 Judgement 를 신속하게 번역기를 사용 영문으로 작성한다.(원어민 아닌 다음에는 번역기가 훨씬 더 빠름)

 

 

 

Writing Quality 등급을 매기기 위해서는 주어진 문장을 잘 읽어 보도록 한다.(Readability)

때로는 문장에 한 두 글자 일본어가 섞여 나오는 경우가 있는데, 이 단어의 뜻을 몰라도 문장 전체 이해에는 지장이 없을 수가 있다. 이는 철자(spelling) 문제로 봐야 하며 minor issues 로 평가하면 된다.  아울러 철자와 문법 문제(주어 동사 목적어 들의 순서가 바뀌면 많이 이상하며 문장 순서들이 뒤바꿔도 의미 전달이 잘 안된다) 여부 즉 Langauge Mechanics를 를 체크한다. 

Response 에서의 문장과 문단이 Prompt 의 요구와 관련하여 제대로 된 문장인지와 개요(outline)와 문장이 의미하는 바와 뜻이 제대로 이해가 되는지(coherence) 판단해 보자. 마찬가지로 Prompt 의 요구와 관련하여 Coherence 는 문장이 의미하는 바가 일관되게 유지 전달되는지를 보는 것이다.

 

 

 

major issues, minor issues, No issues 중 하나로 Writing Quality 등급을 평가 ( How to Rate Writing Quality ) 하자.

아래에 국구절절이 예를 들어 놓았는데 일단 요약해 보자. 철자나 문법 문제가 여러개이고 심각하면 major issues 이다.

소소하게 철자 한두개 라면 이는 minor issues 이다.

읽어보니 깔끔하고 의미 전달이 잘되면 No issues 이다.

시간 여유가 되면 아래의 영문 예를 자세히 읽어 보기 바란다. 우리 말과 영문 사이에 차이점이 있을 수도 있다.

 

아래의 내용들은 구글 문서로 제공이 되므로 북마트에 저장하고 열어보자.

 

Writing Quality in AI communication is a critical aspect that influences clarity, comprehension, and engagement. We'll explore 3 key elements:

1. Readability
2. Language & Mechanics
3. Outline & Coherence

1. Understanding Readability 📖

What is Readability?(가독성)

• Readability is the extent to which the response is free from grammatical or spelling errors that:(문법 철자 오류)
• would obscure a reader’s ability to understand the content; or 
• create an impression of unreliability in the response.

How to evaluate

• After carefully reading the response, if you aren’t easily able to spot a problem with spelling or grammar then you can consider the response as “No Issues”(Response를 주의 깊게 읽은 후 철자문법 오류가 없을 때 No Issues 체크)
• If there are multiple glaring errors in spelling or grammar select the grading “Major Issues”

2. Understanding Language & Mechanics 📝

What are Language & Mechanics?

• Language mechanics refers to correctly and effectively using language elements like word choice, sentence structure, and punctuation. (단어선택, 문장구조 및 마침표)

How to evaluate

• Ask yourself if any ideas were difficult to follow for lack of effective mechanics.

3. Understanding Outline & Coherence 📄

What is Outline & Coherence?

• Outline and coherence involves the logical structure and flow of the content. It's about how well the response is organized and whether the ideas follow a sequence that makes sense to the reader.
• (Prompt에 대한 Response 문장의 논리적 구조와 콘텐트의 흐름이 얼마나 잘 처리되어 있는지, 아이디어를 사용자에게 잘 전달하고 있는지)

How to evaluate

• Ask if you found yourself confused by the flow of content or if the way the response is structured made sense given the goals of the response.

 

Note:

Minor Writing Quality issues alone are usually not grounds to heavily prefer one response over another

(Writing Quality 는 Response 비교에서 큰 비중을 차지하지는 않는다)

 

Writing Quality Rating Examples

1. Readability

Prompt: "Describe the process of photosynthesis."

Bad Example: "Photosynsis invovles, light, water, & Co2 to make oxygn & glucose, it's happens in leafs." ❌

• Multiple spelling and grammatical errors disrupt readability, making the response difficult to read.

2. Language Mechanics

Prompt: "Explain Newton's laws of motion."

Bad Example: "The principle where first a body at rest stays at rest unless acted on and an object in motion stays in motion and force equals mass times acceleration are Newton’s laws of motion." ❌

• Lack of punctuation and poor ordering of ideas make this response very difficult to read.
• (마침표 처리에 문제가 있고, 아이디어 전개 순서가 엉망이라 Response 읽기가 힘들다)

3. Outline & Coherence

Prompt: "Outline the benefits of a balanced diet."(균형잡힌 다이어트의 이점 개요)

Bad Example: "A balanced diet is good. It's about having the right foods. Nutrients and vitamins are important. You should eat fruits and vegetables. Proteins are good for muscles. Carbs provide energy. But don't forget about dairy. Or maybe plant-based alternatives. Water is important too. So is exercise." ❌

• This response is disorganized, jumping randomly between points related to a balanced diet in a jumbled paragraph. 
• (읽어 보면 영어 문장 사이의 비약이 심해 작성 품질이 심하게 떨어짐을 쉽게 알 수 있다)

 

Please rate Response B on its writing style:

Prompt:

What made the Roman Empire great?

 

Response B:

The Roman Empire was one of the greatest empire in human history, making tremendous advances in all things from infrastructure to governance systems. At its height, Rome ruled over nearly all lands surrounding the Mediterranean Sea. Some reasons why the Roman Empire was so impactful and successful included it's affective military strategies for expansion, it has establishment of an extensive road network for communication and trade, and its development of Roman law which become a foundation for modern legal systems. Of course, the Romans were also renowned because they contribute architecture, language, and culture that persist until today. While the empire at the end of the day declined, the big innovations of the Romans allowed it to have enjoyed such widespread influence that it shaped the entire whole modern world.

 

major issues

(위 예제는 영문이므로 이상한 문구 사용이라든지, 또는 시제 불일치가 많이 포함되어 있는데, 한글에서는 이런 상황 발생이 어려워 보인다. 그러므로 그냥 참고만 하자.)

Correct!

Correct! There were glaring mistakes with Response B such as weird phrasing(이상한 문구), wrong tenses(틀린 시제), and other mistakes that made the passage hard to read. Serious issues in spelling or grammar are quite rare in the models you will be evaluating. If there are glaring issues that stand out to you upon a normal read-through, that should be a tip off.

 

 

Writing Quality Quiz - Follow-Up

Below is an example of how someone might explain the rating/ranking of the two responses.

---

Response A is superior because it presents the reasons the Roman Empire was great in a logical way and does not make some basic grammatical errors.

 

Response B contains many errors such as incorrect tenses, wrong form of "it's/its", incorrect spellings, incomprehensible word ordering, and some strange word choices. Anyone who reads response B would be caught up on one or more of these mistakes.

 

Writing Quality  다음 채점 항목인 Verbosity, Instruction Following 으로 넘어가자.

https://ejleep1.tistory.com/1575

 

 

 

 

출처: https://ejleep1.tistory.com/1574 [Machine Learning , AI, Arduino Coding:티스토리]