블로그
너무 빨리 답한 문항은, 푼 게 아닙니다
학생이 한 문항에 몇 초를 썼는지. 이 단순한 숫자를 교육측정 연구는 20년 넘게 파고들어 왔습니다. 그리고 꽤 많은 걸 알아냈습니다.
문제는 이 연구가 전부 컴퓨터 기반 시험(CBT) 에서 나왔다는 것입니다. 종이에 풀고 OMR로 제출하는 수능에는, 문항별 풀이 시간이라는 데이터 자체가 존재하지 않습니다.
응답 시간 연구가 밝힌 것들
몇 가지만 추려보겠습니다. 전부 동료심사를 거친 학술 연구이고, 원문을 확인한 것만 적습니다.
너무 빨리 답한 문항은 '푼' 게 아니다. Wise와 Kong은 2005년에 문항별 최소 응답 시간 임계값을 정의했습니다. 임계값보다 빠르게 답한 구간(rapid guessing)의 정답률은 우연 수준으로 떨어졌습니다. 풀이가 아니라 이탈이라는 뜻입니다. 후속 연구(Wise & DeMars 2006)는 이 신호로 노력 여부를 걸러내면 점수가 실력을 더 정확히 반영하게 된다는 것도 보였습니다.
같은 '빠름'이 정반대 신호일 수 있다. 2024년 연구(Papanastasiou & Michaelides)에서 빠르게 답하고 맞힌 것은 성취도와 양의 상관(r = .35에서 .41), 빠르게 답하고 틀린 것은 강한 음의 상관(r = −.44에서 −.53)을 보였습니다. 속도 하나만 보면 아무것도 알 수 없고, 시간은 정오답과 결합해야 의미가 생긴다는 것입니다.
시간 제한은 존재만으로 수행을 바꿉니다. 2023년 연구(Gonthier)에서는 넉넉한 20분 제한에서도 정확도가 표준편차 0.35만큼 떨어졌고, 흥미롭게도 풀이 속도 상승은 시간이 모자란 후반이 아니라 1번 문항부터 나타났습니다. 시계가 있다는 사실만으로 서두르게 된다는 뜻입니다.
'서두르기 시작 지점'은 사람마다 다르고, 찾아낼 수 있다. 2021년 연구(Shao & Cheng)는 응답 시간의 변화점 분석으로 개인별로 어느 문항부터 서둠이 시작됐는지를 추정했는데, 정오답 기록만 보는 방법보다 검출력이 좋았습니다.
건너뛰기 전략은 모두에게 이롭지 않다. 이미 1980년에 Rindler가 보인 결과입니다 — 스킵 전략은 상위권에게 득이 되고 하위권에게 손이 됩니다. "막히면 넘겨라"는 조언이 누구에게나 유효한 게 아니라는, 요즘 강사들의 등급대별 처방과 정확히 같은 결론입니다.
그런데 수능은 지필이다
이 모든 연구의 재료는 컴퓨터가 자동으로 남긴 문항별 타임스탬프입니다. 수능은 종이 시험이라 그 기록이 없습니다. 시험이 끝나면 남는 건 답안지 한 장 — 어느 문항에 5분을 썼는지, 어디서부터 서둘렀는지, 어떤 문항을 지나치고 돌아왔는지는 아무 데도 기록되지 않습니다.
그래서 수험생에게 주어진 조언들은 대부분 이렇게 끝납니다. "시험지 여백에 구간별 시각을 적어라." 기억은 믿을 게 못 되니 손으로라도 계측하라는 것입니다. 조언 자체가 데이터 공백을 인정하고 있는 셈입니다.
연구가 밝힌 것과 수험생이 쓸 수 있는 것 사이에 20년 치 간극이 있는 셈입니다. 빠른 오답이 위험 신호라는 건 알지만 내가 어디서 빨랐는지 모르고, 서두르기 시작 지점을 찾을 수 있다는 건 알지만 내 시험에서는 찾을 재료가 없습니다.
모잉이 하는 일은 이 공백을 메우는 것이다
모잉은 수능 기출을 실제 시험지 조판 그대로 태블릿에 올리고, 펜슬로 푸는 동안의 기록을 남깁니다. 어느 문항에 얼마나 머물렀는지, 언제 멈췄다 돌아왔는지, 답을 언제 고쳤는지. 손으로 쓰고 종이와 같은 조판으로 푸니 시험 환경은 지필에 가깝게 유지하면서, 컴퓨터 시험만 가졌던 종류의 기록을 얻는 구조입니다.
그 기록 위에서라면 앞의 연구들이 말한 질문을 개인에게 적용할 수 있게 됩니다. 빠르게 맞힌 것과 빠르게 틀린 것을 갈라 보는 것, 이번 시험에서 서둠이 어디서 시작됐는지 보는 것 같은 것들입니다.
분명히 해 둘 게 있습니다. 모잉이 수능장의 기록을 남기는 건 아닙니다. 수능장에는 여전히 종이와 시계뿐이고, 그래서 종이 실전 연습도 여전히 필요합니다. 모잉이 하는 일은 연습 단계에서 내 패턴을 미리 알아두게 하는 것 — 수능장에 가져갈 수 있는 건 기록이 아니라, 기록이 알려준 내 운영 규칙입니다.
덧붙이면, 이 글에서 유통되는 숫자 하나를 쓰지 않았습니다. "수능 오답의 몇 퍼센트가 시간 부족 때문"이라는 류의 수치가 인터넷에 돌아다니지만, 원출처를 추적해 보니 확인되지 않았습니다. 확인된 것만 적는다는 원칙대로, 그 숫자는 버렸습니다.
참고 문헌
본문이 인용한 연구입니다. 원문 또는 공식 초록을 확인한 것만 실었고, 원출처가 확인되지 않는 유통 수치는 제외했습니다.
- Wise, S. L., & Kong, X. (2005). Response Time Effort: A New Measure of Examinee Motivation in Computer-Based Tests. Applied Measurement in Education, 18(2). 원문
- Wise, S. L., & DeMars, C. E. (2006). An Application of Item Response Time: The Effort-Moderated IRT Model. Journal of Educational Measurement, 43(1). 게재판 · 공개 원고
- Papanastasiou, E. C., & Michaelides, M. P. (2024). Examining successful and unsuccessful time management through process data: two novel indicators of test-taking behaviors. Large-scale Assessments in Education, 12. 원문
- Gonthier, C. (2023). Should Intelligence Tests Be Speeded or Unspeeded? A Brief Review of the Effects of Time Pressure on Response Processes. Journal of Intelligence, 11(6). 원문
- Shao, C., & Cheng, Y. (2021). Application of Change Point Analysis of Response Time Data to Detect Test Speededness. Educational and Psychological Measurement, 81(6). 원문
- Rindler, S. E. (1980). The Effects of Skipping Over More Difficult Items on Time-Limited Tests: Implications for Test Validity. Educational and Psychological Measurement, 40(4). 초록
이 글은 공개 학술 문헌에 나타난 연구 결과를 소개·분석한 모잉의 자체 콘텐츠입니다. 인용된 연구자·소속기관은 모잉과 제휴·후원 관계가 없으며, 모잉 서비스를 사용·평가·추천한 것이 아닙니다.