“같은 답인데 점수 다르면?”⋯서·논술형 수능 최대 과제는

국교위, 국가교육발전계획 수립 맞춰 미래 대입제도 논의
수십만 명 답안 평가 관건⋯채점관 확보·AI 활용 등 과제

▲2027학년도 대학수학능력시험 9월 모의평가 시행일인 2일 서울 송파구 방산고등학교에서 수험생이 OMR카드를 작성하고 있다. (연합뉴스)

대학수학능력시험에 서·논술형 문항을 도입하는 방안이 공론화되면서 ‘채점 신뢰성’ 확보가 핵심 과제로 떠오르고 있다. 수십만 명의 서로 다른 답안을 일관된 기준으로 평가해야 하는 데다 대입 당락을 좌우하는 시험인 만큼 수험생이 납득할 수 있는 채점 체계를 마련하는 것이 제도 도입의 선결 과제로 꼽힌다.

26일 국가교육위원회에 따르면 국교위가 최근 국민참여위원 180명을 대상으로 진행한 숙의에서 수능 서·논술형 문항 도입이 필요하다는 응답은 55.5%로 절반을 넘었다. 다만 서·논술형 문항 도입 시 가장 우려되는 점으로는 ‘채점 공정성’을 꼽은 응답이 48.3%로 가장 많았다.

수능에 서·논술형이 도입될 경우 가장 큰 변화는 정해진 답을 고르는 데서 벗어나 수험생이 직접 답안을 작성한다는 점이다. 같은 취지의 답이라도 표현이나 논리 전개 방식이 달라질 수 있어 채점자에 따른 점수 편차를 얼마나 줄일 수 있느냐가 관건이다.

특히 수능은 매년 수십만명이 응시하고 결과가 대입 당락에 직접적인 영향을 미치는 시험이다. 제한된 기간 안에 대규모 답안을 채점하면서도 동일한 답안에는 동일한 평가가 이뤄지도록 해야 한다. 이를 위해서는 세밀한 채점 기준을 마련하는 것은 물론 전문성을 갖춘 채점 인력을 충분히 확보하고 채점자 간 편차를 지속적으로 점검하는 체계가 필요하다.

실제 국교위 국민 숙의 과정에서도 채점 기준을 명확하게 마련해 공개하고 성적 이의제기 절차를 구축해야 한다는 의견이 제시됐다. 충분한 전문채점관을 양성·확보하는 방안도 채점 공정성을 높이기 위한 과제로 거론됐다.

AI가 채점하면 해결?⋯“최종 판단은 사람이 해야”

채점 부담을 줄이고 일관성을 높이기 위한 방안으로 인공지능(AI)을 활용하는 방안도 연구되고 있다. 다만 AI가 사람을 대신해 점수를 매기는 방식보다는 채점자의 판단을 지원하는 보조수단으로 활용해야 한다는 데 무게가 실린다.

수능 출제기관인 한국교육과정평가원도 최근 서·논술형 평가에서 AI 자동채점의 활용 가능성과 한계를 살펴보는 세미나를 열었다. 이 자리에서는 AI를 활용할 경우에도 채점의 타당성과 투명성, 책임성을 확보하는 것이 중요하다는 지적이 나왔다.

박종임 평가원 연구위원은 “AI는 점수를 ‘결정’하는 주체가 아니라, 교사의 판단을 지원하는 보조 체계로 위치해야 한다”고 강조했다. AI가 먼저 제시한 점수가 사람의 판단 기준으로 작용하는 '앵커링 효과'나 AI 판단을 과도하게 신뢰하는 자동화 편향 등이 발생할 수 있다는 점도 한계로 지적했다.

사람이 채점하는 경우에도 신뢰성을 확보하기 위한 장치는 필요하다. 평가원 세미나에서 최숙기 한국교원대 교수는 국어 논술형 평가 데이터를 구축한 사례를 소개하며 한 답안을 2명의 교사가 독립적으로 채점하고 점수가 다를 경우 서로의 판단 근거와 채점 기준을 확인해 최종 점수를 합의하는 방식을 제시했다. 채점 과정에서는 동일한 답안을 반복적으로 평가하도록 해 채점자 간 신뢰도와 기준의 일관성도 점검했다.

충분한 준비기간이 필요하다는 인식은 도입 시점에 대한 의견에서도 드러났다. 국교위 숙의에서 2037~2038학년도 도입이 적절하다는 응답은 숙의 전 22.8%에서 숙의 후 39.4%로 16.6%p 늘었다. 반면 더 이른 2033~2034학년도를 선택한 비율은 31.1%에서 21.7%로 줄었다.

국교위는 이번 숙의 결과와 현장토론회, 온라인 의견수렴 결과 등을 바탕으로 대입제도 개편 논의를 이어간다. 관련 논의는 10월 말 공개할 예정인 ‘2028~2037 국가교육발전계획’ 시안에도 반영될 전망이다. 국교위는 이후 추가 의견수렴 등을 거쳐 내년 3월 국가교육발전계획을 확정할 예정이다.