2024/09/29

기계적으로 글을 채점하려면



지난 학기 조교 업무를 했던 수업에서 기말보고서 채점 관련하여 성적이의신청이 들어온 적이 있다. 노력한 흔적이 과제물 곳곳에 보였지만 좋은 점수를 줄 수 없는 보고서였다. 내가 채점했으니 내가 답장해야 했다. 나는 채점 기준은 무엇이고 해당 학생의 과제물이 어떤 점에서 기준에 부합하지 않는지 밝혔다. 그러자 학생에게서 메일이 또 왔다. 자신이 어떤 의도로 글을 그렇게 구성했는지 등 내가 지적한 사항을 반론하는 내용이었다. 나는 글이 왜 잘못되었는지 더 친절하게 설명하는 답장을 보냈다. 해당 학생이 또 답장했다. 나는 글이 왜 잘못되었는지 더욱더 친절하게 설명했다. 그렇게 내가 보낸 답장이 기말보고서 분량과 비슷해졌을 때, 학생은 자신의 글이 부족하다는 것을 알았다며 답변해 주어서 감사하다고 하는 메일을 보냈다.

해당 학생은 자신의 의사를 정중하고 예의 바르면서도 논리적으로 성적이의신청을 했다. 성적이의신청 하듯 기말보고서를 썼다면 최고점에 가까운 점수를 받았을 것이다. 그 학생은 왜 기말보고서에는 자신의 능력을 발휘하지 않았을까? 우선, 해당 학생은 글쓰기 교양수업에서 글쓰기에 도움이 될 만한 내용을 거의 배우지 못했을 것이다. 프로그램 자체의 결함 때문에 교수자가 누구든 관계없이 도움될 만한 것을 배울 수 없다. 그 다음으로, 해당 학생이 글을 평가하는 기준이 느슨한 교양수업을 들었을 가능성도 있다. 아무거나 많이 쓰고 이것저것 대충 이어붙이기만 해도 잘 한다 잘 한다 하며 글쓴 사람을 분별없이 응원하는 분야들이 있는데, 그런 수업에서 받지 말아야 할 칭찬을 받거나 누리지 말아야 할 기쁨을 누리면서 글에 대한 왜곡된 관점을 가지게 될 수 있다. 가장 결정적인 요소는 내가 조교로 일하는 수업에서 교수자가 어떤 글을 써야 하는지 기준을 제시하기는 하지만, 어떻게 해야 그 기준에 부합하는 글을 쓸 수 있는지 세부적으로는 안내하지 않는다는 점이다. 학생이 이전에 어떤 수업을 들었든 간에 해당 수업에서 명확한 기준을 제시하면 사정은 달라질 수 있다.

내가 이 문제와 관련하여 해당 수업의 교수자(대학원 선배)와 이야기를 몇 번 한 적이 있다. 대학원 선배가 세부 기준까지 알려주지 않고 대략적인 기준만 알려주는 데는 두 가지 이유가 있는데, 하나는 알려주지 않은 세부적인 것을 찾는 것도 교육의 일부이고, 다른 하나는 학생들이 실질적으로 요구받는 것을 이행하지 않고 제도만 해킹하는 것을 막기 위해서다. 이것은 전 지도교수님의 영향을 받은 것이다.

어떤 것을 일부러 가르쳐주지 않음으로써 교육적인 효과를 높이려면, 가르쳐야 할 것을 일정 기간 숨겼다가 가르쳐주는 것을 몇 번 반복해야 한다. 수업에서 그렇게 하는가? 아니다. 해당 수업의 학생들은 중간고사 대체 과제물 한 편, 토론문 두 편, 기말보고서 한 편을 쓴다. 대체 과제물은 점수만 확인할 수 있고, 토론문은 모두 첨삭을 받고, 기말보고서는 원하는 학생만 첨삭을 받을 수 있다. 실질적으로 첨삭을 받을 수 있는 건 토론문 두 편뿐이다.

‘어쨌든 첨삭 받으니까 된 거 아닌가? 조교만 잘 족치면 글쓰기 교육이 강화되겠네?’ 하고 생각할 수 있지만 그게 아니다. 첨삭은 학생이 제출한 과제에서 일부분을 추가하거나 수정할 것을 제안하는 것에 불과하기 때문에, 학생이 형태도 갖추지 못한 글을 내거나 뒤틀린 구조로 된 글을 제출하면, 조교가 첨삭을 통해 학생에게 해줄 수 있는 것이 거의 없다.

첨삭의 또 다른 한계는 비효율이다. 70명이 수강하는 수업에서 20명쯤 제목을 안 쓰고, 열 명쯤 이름을 안 쓰고, 50명쯤 쪽 번호를 안 붙이고, 30명쯤 서론-본론-결론을 안 나눈다고 해보자. 라이드라인 안내로 하면 한 번에 할 수 있는 것을 몇 십 번을 복사-붙여넣기를 해야 한다. 이렇게 해도 첫 번째 토론문 첨삭을 조교가 늦게 보내거나 제때 보내도 학생이 안 읽어서 대개는 두 번째 토론문에서도 똑같은 실수를 하게 된다. 그러면 또 몇십 번을 똑같은 복사/붙여넣기를 해야 한다.

글쓰기 교육과 평가에 관한 대화를 여러 번 하면서 나와 대학원 선배는 (i) 평가 항목(특히 형식적 측면)을 세분화하고, (ii) 이를 학생들에게 완전히 공개하고, (iii) (i)과 (ii)를 통해 교육 효과를 높이는 동시에 기계적 채점을 가능하게 하여 조교의 노동력을 효율적으로 활용하자는 데 합의하게 되었다. 글을 기계적으로 채점한다는 것은, 글을 다 읽고 나서 글과 관련된 일종의 덕목(유기성, 정합성, 내용의 충실성 등)을 고려하며 채점하는 것이 아니라, 채점 기준에서 어긋나는 부분을 글에서 발견하는 즉시 글의 전체적인 유기적 연결과 상관없이 바로바로 감점하는 것을 말한다. 글쓰기의 평가 항목을 글이 갖추어야 할 덕목과 연결하면 글을 다 읽고 나서 이 부분이 저 부분과 연결이 되나 안 되나 고민하고 다시 읽어보고 또 생각해야 한다. 글을 다 읽고 나서 글쓴이의 의도를 고려하고 숨은 가정 같은 것을 찾아내며 쓸데없이 에너지를 쓰는 것이 아니라, 형식상 요구한 것이 글에 있나 없나만 빠르게 점검하는 것이 기계처럼 채점하는 것이다.

과제 작성 지침을 아예 표로 작성할 수도 있겠다. 형식적 측면 점검표에는 제목을 썼는지, 이름을 썼는지, 쪽 번호를 매겼는지 등 온갖 자질구레한 것부터 서론-본론-결론을 구분하여 글을 작성했는지, 한 문단에 한 가지 사안만 다루는지, 반론을 고려한 부분이 있는지까지 형식적인 것과 관련된 거의 모든 것을 일목요연하게 정리한다. 그 다음 학생이 어느 것을 지켰고 어느 것을 지키지 않았는지 표에 표시해서 돌려준다. 이렇게 하면, 글의 형식적인 측면과 관련하여 첨삭 대신 표로 학생들에게 돌려줄 수 있을 것이다. 학생들은 글을 작성하면서 자신이 무엇을 해야 하는지 점검할 것이니 교육 효과가 높아질 것이고, 조교는 노동량과 노동시간이 줄어들 것이다.

그런데 한 가지 남은 문제가 있다. 글의 형식적 측면 이외의 내용적 측면은 어떻게 평가할 것인가? 어떤 문헌에서 어떤 쟁점을 추출하여 어떻게 논증하는지를 어떻게 기계적으로 채점할 것인가? 이에 대한 나의 입장은 어떤 문헌의 몇 쪽 어느 부분에 나오는 문제를 논하라는 것까지 세부적으로 지정하면 된다는 것인데, 이 부분에서 나와 대학원 선배의 의견이 갈린다.

대학원 선배는 내가 주장하듯 너무 세부적인 부분까지 다 정해주면 학생들이 글을 작성하지 못하거나 자신의 주장을 펼치는데 지장이 생길 수 있다고 우려한다. 나도 이 부분에는 동의한다. 학생에게 글쓰기 과제 작성과 관련하여 제약을 없으면 자유롭게 쓰고 자유롭게 말할 수 있고 수업 참여도 활발해질 수 있으나 교육적으로 똥이 될 것이고, 반대로 제약이 너무 많으면 아예 글을 쓰지 못하거나 논의를 시작할 수도 없어서 수업이 망하고 교육 자체가 이루어지지 않을 수 있다. 둘 사이에 어디쯤에 균형점이 있을지, 그리고 내용적인 측면에서 어느 정도까지 제약해야 하는지는 차차 논의해야 할 것이다.

(2024.07.29.)


댓글 없음:

댓글 쓰기

[외국 가요] 맥 드마르코 (Mac DeMarco)

Mac DeMarco - Heart To Heart ( www.youtube.com/watch?v=qBoQzo98EpQ ) ​ ​ (2025.01.20.)