AI 시대에 평가 기준이 달라져야 하는 이유
안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.
오늘은 ChatGPT는 답안의 완성도를 높이고, 비판적 사고 훈련은 아이디어의 폭을 넓혔다는 연구를 소개합니다.
AI 시대에 평가 기준이 달라져야 하는 이유
OpenAI Economic Research와 보코니대학교 연구진은 1학년 학생 1,053명에게 대학 기념품 매장의 마케팅 방안을 제안하도록 했습니다. 학생들은 ChatGPT Edu(GPT-4o), 인과 추론 훈련, 둘 다, 둘 다 사용하지 않는 네 집단으로 나뉘었습니다. 연구 결과, ChatGPT와 비판적 사고 훈련은 서로 다른 역할을 했습니다. [공식 블로그]
1. AI는 초보자가 더 전문적인 결과물을 만들도록 도왔습니다
- ChatGPT를 사용한 학생들은 대조 집단보다 5점 평가에서 약 0.86점 높은 점수를 받았습니다.
- 답안에 더 많은 아이디어가 담겼고, 논리와 흐름도 명확해졌습니다.
- 전문가가 작성한 제안과 더 비슷한 결과물을 만들었습니다. 즉, AI가 초보자와 전문가 사이의 결과물 격차를 줄여줬습니다.
- 학생들은 ChatGPT의 답변을 그대로 제출하지 않았습니다. 학생들은 질문을 만들고, 답변을 평가하고, 최종 제출물에 포함할 내용을 직접 선택했습니다.
- AI가 결과물의 수준을 높였지만, 지시하고 판단하는 역할은 학생에게 남아 있었습니다.
2. 비판적 사고 훈련은 더 다양하고 독창적인 아이디어를 끌어냈습니다
- 인과 추론 훈련을 받은 학생들은 자신의 아이디어가 성공할 수 있는 이유와 실패할 수 있는 조건을 더 명확하게 설명했습니다. 다른 학생들의 답안과 덜 겹치는, 더 다양하고 독창적인 아이디어도 제시했습니다.
- 하지만 인과 추론 훈련만 받은 집단은 대조 집단보다 더 높은 점수를 받지 못했습니다.
- ChatGPT와 인과 추론 훈련을 모두 받은 집단도 ChatGPT만 사용한 집단과 점수가 비슷했습니다. 즉, 인과 추론 훈련으로 사고의 폭은 넓어졌지만 그 효과가 추가 점수로 이어지지는 않았습니다.
- 평가표가 매장 인지도와 이용 증가라는 정해진 목표를 중심으로 채점하고, 아이디어의 독창성에는 별도의 점수를 주지 않았기 때문입니다.
- ChatGPT와 인과 추론 훈련을 모두 받은 학생들은 전문가에 가까운 완성도 높은 답안을 만들면서도, 성공과 실패의 원인을 따지고 더 다양하고 독창적인 아이디어를 제시했습니다.
- ChatGPT가 답안의 완성도를 높이는 동안, 비판적 사고 훈련은 가정을 의심하고 여러 가능성을 탐색하도록 만들었습니다.
3. 학교가 직면한 과제
- AI가 학생의 답안을 빠르게 전문가 수준으로 다듬을 수 있다면, 최종 결과물만 보고는 학생이 실제로 무엇을 이해했는지 알기 어려워집니다. 매끄럽고 정돈된 답이 곧 깊이 생각한 답을 의미하지는 않기 때문입니다.
- 따라서 과제와 평가 방식도 달라져야 합니다. 정답에 얼마나 가까운지만 볼 것이 아니라, 얼마나 독창적인 아이디어를 냈는지, 원인과 결과를 설명했는지, 가정을 의심하고 여러 접근법을 검토했는지를 함께 평가해야 합니다.
마무리
- 내일이 개강이라서 그런지 이번 연구가 유독 눈에 들어왔습니다. 뉴스레터에서 종종 언급했지만, AI를 사용하는 시대에는 결과물만으로 평가하는 기존 기준이 달라져야 한다고 생각합니다. 이제 누구나 AI의 도움을 받아 완성도 높은 결과물을 만들 수 있기 때문입니다. 따라서 무엇을 질문했고, 어떤 답을 버렸으며, 왜 그 선택을 했는지와 같은 과정을 평가해야 합니다.
- AI를 사용한 과정에 학생의 기여도를 가장 직접적으로 확인할 수 있는 방법은 발표와 후속 질문이 아닐까요? 언어로 조리 있게 발표하려면, 먼저 자신이 한 일을 이해하고 있어야 가능합니다. 또한 예상하지 못한 후속 질문에도 대답이 가능합니다. 과정을 평가하도록 평가 기준이 바뀌어야 'AI를 잘 쓰는 창의적인 인재'를 기를 수 있을 것입니다.
- 오늘 소개한 연구 결과를 보며, 인간은 창의적인 생각과 판단에 집중하고 ChatGPT는 그 생각을 제도가 이해할 수 있는 글과 논리로 번역하는 훌륭한 도구가 될 수 있겠다고 생각했습니다. 모든 것을 ChatGPT에 맡기고 싶은 유혹은 강력합니다. 하지만 질문하고 판단하는 일을 스스로 유지하면서 '잘' 활용한다면, ChatGPT는 개인의 능력을 증강하고 기존 평가 기준 안에서 미처 발견되지 못했던 사람에게 더 많은 기회를 열어줄 것입니다.
오늘의 Midjourney Prompt & Music
아래 Midjourney 이미지를 음악과 함께 감상해보세요:)
프롬프트 (by @jae_hong__an) :