바꾼 것평가 요소를 두 역량으로 나누고, 10·9·8점마다 답안에서 확인할 수 있는 조건(인물과 선정 이유, 역사적 오류 개수, 자료 수와 출처)을 적었어요.
결과27명 중 8명은 선생님 점수와 같았고, 19명은 AI가 높았어요(평균 AI 19.7점 · 선생님 17.7점). 남은 차이를 다시 기준에 반영할 거리로 정리했어요.
처음엔 이렇게 어긋났어요
처음엔"역사 내용을 잘 이해했는가", "자료를 활용했는가"처럼 수업 목표를 넓게 적어 두었어요.
그랬더니이 말만으로는 AI가 "삼국", "가야" 같은 낱말이 들어 있다는 이유만으로 높은 점수를 줄 수 있다고 봤어요.
그래서 이렇게 바꿨어요
🍯 "잘 이해했는가" 대신 "답안에서 확인할 수 있는 조건"으로. 세 가지를 바꿨어요.
역사를 바르게 이해했는지와 자료로 생각을 표현했는지는 다른 능력이라, 나눠야 어디서 점수가 달라졌는지 보여요.
"매우 잘함·잘함·보통" 대신 인물과 선정 이유, 역사적 오류의 개수를 점수마다 적었어요.
자료를 많이 붙이기만 한 답안과 실제로 쓴 답안을 가르려고 출처를 조건에 넣었어요. 기획서 분량, 화려한 문장, 챗봇 아이디어의 재미로는 점수를 주지 않도록 주요 기준에서 뺐어요.
바꾸니 이렇게 됐어요
고친 기준으로 27명을 채점하고 선생님 최종 점수와 비교한 결과예요.
| AI − 선생님 | 학생 수 |
|---|---|
| 같음 | 8명 |
| +1점 | 1명 |
| +2점 | 5명 |
| +3점 | 9명 |
| +4점 | 4명 |
기준이 분명해지면서 AI가 무엇을 보고 점수를 줬는지는 선생님이 바로 확인할 수 있게 됐어요. 그래도 AI가 높게 준 이유는 조건의 일부를 채우면 9~10점으로 본 데 있었어요. 선생님은 선정 이유가 설득력 있는지, 자료가 주장을 뒷받침하는지까지 함께 봤고요. 그래서 다음 기준에 더할 것을 정리했어요.
한 학생은 AI 19점, 선생님 1점이었어요. 실제 답안이 아닌 다른 파일이 채점된 경우라, AI 채점 전에 제출 상태부터 확인해야 해요.
선생님은 이 경험을 이렇게 정리했어요. "교사와 AI가 동일한 학습 목표와 성취 근거를 바라보게 하는 기준표"
평가 설계를 그대로 봐요
과제 삼국과 가야의 성장과 통치 체제를 배운 뒤, 역사 인물 한 명을 골라 그 인물과 대화하는 AI 챗봇 기획서 쓰기 (인물 프로필, 세계관, 답변 출처 2개 이상, 핵심 기능, 대화 시나리오)
형광펜은 위 꿀팁과 이어지는 표현이에요.
내 평가에 맞게 바꿔 쓰세요. 점수와 문장 그대로 옮길 필요는 없어요.
과제물과 채점 결과를 나란히 봐요
선생님 점수와 같은 답안, 4점·2점 차이가 난 답안을 하나씩 골랐어요. 점수는 AI가 제안하고 선생님이 확정한 결과예요. 이름·학번은 가렸어요.
과제물을 누르면 이 자리에서 크게 볼 수 있어요
학생 A AI 20점 · 선생님 20점 (20점 만점 · 같음)
선생님과 AI 모두 만점을 준 답안이에요.
선생님선생님 점수AIAI 점수 (다를 때만 따로 보여요)
AI 채점 근거선정한 역사적 인물과 그 이유를 명확하게 제시하였고, 소버린 AI의 특징을 바탕으로 삼국과 가야의 성장 과정에서 여러 세력의 다양성을 보여주는 AI 역사 챗봇 기획서를 역사적 사실에 오류 없이 작성하였다.
AI 피드백 보기
역사적 인물 선정과 그 이유, 그리고 인물의 업적을 구체적으로 잘 서술한 점이 돋보임. AI 챗봇의 세계관과 기능, 대화 시나리오까지 체계적으로 기획하여 창의성을 잘 드러냄. 역사적 사실에 대한 자료 조사와 출처 제시도 충실하게 이루어짐. 앞으로는 삼국 이외의 다양한 세력이나 인물에 대한 탐구도 시도해보면 더욱 풍부한 기획서가 될 것임.
AI 채점 근거2가지 이상의 자료 및 도구를 활용하여 글을 작성하였으며, 인용한 자료의 출처가 분명히 명기되어 있다.
AI 피드백 보기
여러 자료를 적극적으로 활용하여 역사적 사실을 뒷받침하는 점이 인상적임. 다양한 출처를 명확히 밝히는 습관을 유지하면 더욱 신뢰도 높은 자료 활용이 가능함. 앞으로도 역사적 맥락을 창의적으로 해석해서 챗봇 기획 등 다양한 형태로 표현하는 연습을 지속하는 것이 좋음.
AI 종합 의견
학생은 역사적 인물 선정과 그 이유, 그리고 인물의 업적을 구체적으로 잘 서술함. AI 챗봇의 세계관과 기능, 대화 시나리오까지 체계적으로 기획하여 창의성을 잘 드러냄. 그러나, 삼국 이외의 다양한 세력이나 인물에 대한 탐구가 부족하므로, 이를 보완하는 노력이 필요함. 또한, 다양한 출처를 명확히 밝히는 습관을 유지하면 더욱 신뢰도 높은 자료 활용이 가능하므로, 이 점에 유의해야 함. 이러한 개선을 통해 더욱 풍부하고 신뢰성 있는 기획서를 작성할 수 있을 것임.
과제물을 누르면 이 자리에서 크게 볼 수 있어요
학생 B AI 20점 · 선생님 16점 (20점 만점 · 차이 +4점)
AI는 두 요소 모두 10점, 선생님은 8점씩 줬어요. 네 점 차이가 난 답안이에요.
선생님선생님 점수AIAI 점수 (다를 때만 따로 보여요)
AI 채점 근거선정한 역사적 인물과 그 이유를 명확하게 제시하였고, 소버린 AI의 특징을 바탕으로 삼국과 가야의 성장 과정에서 여러 세력의 다양성을 보여주는 AI 역사 챗봇 기획서를 역사적 사실에 오류 없이 작성하였다.
AI 피드백 보기
역사적 인물의 선정과 이유가 분명하게 드러나고, 챗봇의 세계관과 기능도 구체적으로 잘 표현됨. 앞으로는 역사적 사실을 더욱 다양한 관점에서 탐구하고, 여러 사료를 비교하여 보다 풍부한 설명과 근거를 제시하는 연습이 필요함. 또한, AI 챗봇의 교육적 활용 방안에 대해 더 창의적으로 접근해보면 더욱 발전된 기획서가 될 것임.
AI 채점 근거2가지 이상의 자료 및 도구를 활용하여 글을 작성하였으며, 인용한 자료의 출처가 분명히 명기되어 있다.
AI 피드백 보기
다양한 자료를 활용하고 출처를 명확히 밝히는 점이 매우 돋보임. 인물의 특성과 업적을 구체적으로 설명하여 이해를 높였음. 앞으로는 각 항목별로 더욱 체계적인 설명과 예시를 추가하면 더욱 완성도 높은 기획서가 될 것임.
AI 종합 의견
학생은 역사적 인물의 선정과 이유가 분명하게 드러나며, 챗봇의 세계관과 기능을 구체적으로 잘 표현함. 또한, 다양한 자료를 활용하고 출처를 명확히 밝히는 점이 매우 돋보이며, 인물의 특성과 업적을 구체적으로 설명하여 이해를 높였음. 그러나 역사적 사실을 더욱 다양한 관점에서 탐구하고, 여러 사료를 비교하여 보다 풍부한 설명과 근거를 제시하는 연습이 필요함. 또한, 각 항목별로 더욱 체계적인 설명과 예시를 추가해야 더욱 완성도 높은 기획서가 될 수 있음을 강조함.
과제물을 누르면 이 자리에서 크게 볼 수 있어요
학생 C AI 20점 · 선생님 18점 (20점 만점 · 차이 +2점)
AI는 만점, 선생님은 두 요소에서 1점씩 깎은 답안이에요.
선생님선생님 점수AIAI 점수 (다를 때만 따로 보여요)
AI 채점 근거선정한 역사적 인물과 그 이유를 명확하게 제시하였고, 소버린 AI의 특징을 바탕으로 삼국과 가야의 성장 과정에서 여러 세력의 다양성을 보여주는 AI 역사 챗봇 기획서를 역사적 사실에 오류 없이 작성하였다.
AI 피드백 보기
삼국의 성장 과정과 각 인물의 특징, 업적을 잘 정리하였음. 추가적으로 삼국뿐만 아니라 가야 등 다양한 세력의 성장 과정과 그 다양성에도 더 주목한다면 더욱 풍부한 기획서가 될 것임. AI의 세계관, 가치관, 핵심 기능을 구체적으로 제시한 점이 인상적임. 역사적 사실을 좀 더 정확하게 확인하고, 교육적 기능을 실제 역사와 연결지어 서술한다면 완성도가 높아질 것임.
AI 채점 근거2가지 이상의 자료 및 도구를 활용하여 글을 작성하였으며, 인용한 자료의 출처가 분명히 명기되어 있다.
AI 피드백 보기
역사적 사실을 다양한 각도에서 접근하고, 출처를 명확히 밝히며 정보를 구성한 점이 돋보임. 앞으로는 답변의 구체성과 논리적 연결성을 더욱 강화하여, 사용자의 이해를 돕는 설명을 추가하면 더욱 완성도 높은 결과물이 될 것임.
AI 종합 의견
학생은 삼국의 성장 과정과 각 인물의 특징 및 업적을 잘 정리함. 역사적 사실을 다양한 각도에서 접근하고, 출처를 명확히 밝히며 정보를 구성한 점이 돋보임. 그러나 앞으로는 역사적 사실의 정확성을 더욱 높이고, 교육적 기능을 실제 역사와 연결지어 서술하는 점에서 개선이 필요함. 또한, 답변의 구체성과 논리적 연결성을 강화하여 사용자의 이해를 돕는 설명을 추가하는 것이 중요함.