논서술형 평가, 어떻게?

평가란 무엇인가?

일부 학생들은 시험만 없다면 학교 다니는 것도 재미있을 것이라고 한다. 관심있는 분야를 배우고, 친구들과 즐거운 시간을 보내며, 맛있는 식사를 함께 하는 공간이 학교라면 누구나 학교생활을 즐겁게 할 수 있을 것이다. 현재 입시 위주의 경쟁적 교육 풍토에서는 학생들에게 시험에 대한 부담감이 크다. 하지만 교육학 관련 서적을 찾아보면 교육 평가의 목적을 ‘상급 학교를 진학하기 위한 수단’이나 ‘자격증을 따기 위한 수단 내지’ 내지 ‘학생들을 학업 성취도에 따라 서열화하기 위한 도구’라고 하지 않는다. 오히려 교육 평가의 목적으로 다음과 같은 것들을 제시한다.

“학생들이 일정한 학습 경험을 수행한 후 학습 목표를 어느 정도 달성했는지 여부를 측정한다. 그리고 교사들은 측정 자료를 활용하여 학생들의 학습 수준을 이해하고 교사 자신의 수업을 반성하는 자료 내지 학생들과 학부모들의 자기 발전 자료로 삼는다.”

“학생들이 교육 목표를 보다 빨리, 효율적으로 달성할 수 있도록 하는 과정(수단)이다.”

평가는 학생들을 서열화하기 위한 수단이 아니라 학습 목표를 이룰 수 있도록 도와주는 수단이라는 것이다. 즉, 평가의 핵심은 테스트(test)가 아니라 피드백(feedback)이다. 그런데 우리의 교육 현실은 점수 자체에만 매달려 학생들은 수단과 방법을 가리지 않고 점수를 올리는데 정신없도록 몰아가고 있다. 교사는 평가를, 학습 활동을 마무리하기 위한 연례 행사 정도로 여기고 평가 결과를 다른 사람과의 비교 자료로 활용하거나 입시를 위한 자료 정도로밖에 여기지 않는 경향이 있다. 그러다보니 평가 방식을 아무리 새롭게 고치고 적용해도 그 효과를 쉽게 기대하기 힘든 상황이다.

학습 구조의 관점에서 평가를 이해하면 평가의 성격을 냉철하게 분석할 수 있다. 일제학습구조에서 평가의 핵심은 학생들이 교사가 전달한 지식이나 정보를 어느 정도 받아들이고 있는가에 있다. 경쟁 학습 구조에서는 학습 목표 도달 여부보다는 다른 사람과 비교를 통해서 어느 정도의 우위를 점하고 있는가가 중요하다. 이에 비해 개별 학습 구조에서는 학생들의 개개인의 특성을 어느 정도 파악하고 학생 수준에 맞는 교육 활동이 이루어졌는가에 대한 자료로 활용된다. 협동학습 구조에서는 학생들의 공동의 학습 목표를 달성하기 위해 학생들이 어떠한 방식으로 학습하였는가가 중요한 문제가 된다. 경쟁 학습 구조에서는 다른 학생들의 학습 활동을 살펴보는 것은 부정 행위가 된다. 시험 시간에 문제를 푸는 데 잘 모른다고 옆에 있는 학생의 답안지를 엿본다면 이는 부정행위로 처벌까지 받게 된다. 그런데 협동학습 구조에서는 다른 사람이나 다른 모둠의 학습 활동 내용을 살펴보아야 수업 자체가 이루어질 수 있다. 즉, 다른 사람들과 과정이나 결과물을 나누는 것이 곧 선(善)이다.

최근에 평가 방식을 다양하게 개발하고 적용해도 여러 가지 부작용이 발생하는 근본 이유가 바로 여기에 있다. 즉, 기존의 일제 학습, 경쟁 학습 구조의 풍토가 근본적으로 변화되지 않는 상태에서 평가 방식만을 바꾸면 오히려 학생들과 교사들에게 새로운 부담이 될 수밖에 없다는 것이다. 최근에 수행 평가가 학교 현장에 도입되면서 긍정적인 효과가 나타나고 있지만 다른 한편으로는 학생들에게 새로운 학습 부담을 지우는 도구로 전락하고 있는 것은 이러한 맥락에서 이해할 수 있다. 그러므로 교육 현실을 기존 일제 학습이나 경쟁 학습 구조 위주의 풍토에서 점차 개별 학습, 협동학습 구조로 변혁이 이루어질 때 학습은 원래의 본질을 점차 찾아나갈 수 있을 것이다.

 

평가에서 고려해야 할 요소

평가는 평가 자체로만 홀로 존재할 수 없다. 평가는 수업의 최종 결정판이다. 학습 목표와 내용, 학습 활동, 그리고 평가가 인과적으로 연결되어야 한다. 만약 학습 목표 및 내용과 상관없는 평가를 한다면 평가 자체가 무의미해지고 학습 활동과 상관없는 평가를 한다면 학습 활동이 원활하게 진행되기 힘들 것이다.

측정에서 항상 문제가 되는 것은 타당도와 신뢰도 문제이다. 타당도란 측정하고자 하는 바를 실제로 측정하고 있는가의 문제이고 신뢰도란 측정값이 믿을만한 것인가의 문제이다. 타당도와 신뢰도가 모두 측정에서 중요하지만 그 중에서도 타당도의 확보가 우선되어야 한다. 타당도 없이 높은 신뢰도를 확보하는 것이 가능하긴 하지만 이것은 전혀 의미가 없는 측정이 될 것이다. 예컨대, 키를 체중계로 측정하는 것은 타당도는 전혀 없지만 신뢰도는 매우 높다고 할 수 있다. 키를 체중계로 재면 키를 전혀 알 수 없어서 전혀 타당하지 않은 측정이 된다. 하지만 한 사람을 체중계로 키를 반복하여 측정하여도 항상 비슷한 수치가 나오기 때문에 신뢰도는 매우 높다고 할 수 있다. 키를 체중계로 재는 비유는 말도 안되는 비유라고 생각할 지 모르겠지만 우리의 교육 현장에서 이루어지고 있는 평가의 현실을 냉철하게 살펴보면 이와 비슷한 일들이 많이 이루어지고 있음을 알 수 있다.

수행 평가의 기본 취지는 타당도를 올리기 위한 노력이다. 즉. 단순한 지식이나 기술을 측정하는 데 그치지 않고 고등 능력 즉, 종합적 사고력이나 비판적 사고력 등을 측정하기 위해서는 기존의 지필 고사로서는 근본 한계가 드러나기 때문이다. 그런데 타당도를 올리기 위해 수행평가가 적용되었지만 정작 교육 현장에서는 신뢰도가 가장 중요한 기준이 되어버렸기 때문에 많은 교사들이 수행평가를 실시함에 있어서 타당도 보다는 신뢰도에만 집중하는 경향이 강하다. 그러다보니 교사들이 수행 평가를 평가 방식의 새로운 대안으로 생각하기보다는 하나의 골치 거리로 부담스럽게 생각하는 경우가 많다.

다른 한편으로는 우리의 교육 현실 여건상 거대 학교 다인수 학급에서 교사 한 사람이 평가해야 할 학생들이 많은 상태에서 제대로 된 수행 평가를 실시한다는 것은 현실적으로 어려울 수밖에 없다. 그러므로 우리의 교육 현실에 맞는 새로운 수행 평가 방안들을 개발하고 적용해야 할 것이다.

협동학습으로 수업을 하고 정작 평가는 일제학습, 경쟁학습에 맞도록 개발된 기존의 지필 고사로만 평가하려는 경우 문제가 발생할 수 없다. 즉, 타당도와 신뢰도 모두가 문제가 될 수 있다. 협동학습을 평가하는 데 있어서 가장 타당한 평가 방법은 수행 평가이다. 그런데 협동학습 특성상 다양한 요소가 복합적으로 작용하므로 평가를 하는데 있어서도 각각의 평가 요소를 잘 정리하여 평가에 반영할 수 있도록 해야 한다. 자칫 잘못하면 타당도나 신뢰도 모두를 잃어버릴 수 있다는 것을 명심해야 한다.

◾ 타당도 – 측정하고자 하는 바를 실제로 측정하고 있는가? (평가문항 자체) ◾ 신뢰도 – 측정값이 믿을만한 것인가? ◾ 객관도 – 채점자(교사)가 얼마나 일관성이 있게 채점하는가? (교사 자체) ◾ 실용도 – 측정 도구가 시간, 돈, 노력을 얼마나 적게 드는가?

 

 

논서술형 평가

최근 국제바칼로레아(IB)에 대한 사회적 관심이 높아지면서 논서술형 평가 방식에 대한 관심도 자연스럽게 올라가고 있다. 지필고사 중 객관식 평가 유형이 아닌 평가 유형들이 주관식 평가라고 할 수 있다. 주관식 평가 유형에는 단답형,  완성형, 서술형, 논술형 등으로 세부화할 수 있다. 여기에서는 이중에서 서술형과 논술형 평가 문항을 중심으로 살펴보고자 한다.

서술형 평가는 지식에 대한 이해 수준을 평가하는 문항으로서 특정 개념을 학생이 자기가 이해한 대로 문장 형태로 풀어서 쓰는 것이다. 예컨대, '"인공지능"에 대한 정의를 쓰시오' 처럼 객관적 사실에 초점을 맞추어 문장 형태로 쓰는 것이다. 논술형 평가는 적용, 분석, 종합, 평가 등 고차원적인 사고 전략에 맞게 평가하는 문항으로서 어떤 주제에 대한 의견과 생각을 학생이 논리적으로 서술하는 것이다. 주장하는 글을 쓰려면 자기의 주장과 이를 뒷받침하는 이유가 나와야 하고, 사실에 근거하여 주장을 펼쳐야 하므로 지식에 대한 이해 부분도 포함되어야 한다. 그래서 논술형 평가에서는 서술형 평가도 포함되어 있기에 서술형 평가와 논술형 평가를 엄밀하게 구분하기 쉽지 않다. 그래서 논서술형 평가 내지 서논술형 평가라는 용어를 사용하는 이유가 있다.

논서술형 평가의 장단점이 있다. (강승호 외, 1999)

우선 논서술형 평가의 장점은

◾복합적인 학습결과를 측정하는 데 효과적이다.

◾교과 수업의 타당도가 높다.

◾상대적으로 제작하기 쉽다.

◾학생들의 고차원적인 사고 전략을 세우는데 도움이 된다.

◾학생들의 생각과 주장을 확인하는데 좋다.

◾대충 찍기가 불가능하다.

하지만 논서술형 단점은

◾채점하는데 시간과 노력이 많이 필요하다.

◾채점의 신뢰도와 객관성이 떨어질 수 있다.

◾문항 내용이 명로하지 않을 수 있다.

그래서 논서술형 평가는 교과의 특성, 학습주제의 방향, 학생들의 특성 등을 고려하여 활용하는 것이 필요하다. 대개 객관식 평가와 주관식 평가를 혼합하여 평가하는 경우가 많은 것도 평가 유형의 특징과 관련하여 이해할 수 있다.

 

논서술형 평가에서 유의해야 할 사항

논서술형 평가 문항을 제작하려고 할 때 다음의 내용을 기억하면 좋다.(강승호 외, 1999)

  ◾ 학생들의 지적 능력을 입증할 수 있는 문항이나 과제를 제시해야 한다.

 ◾ 학습한 내용을 토대로 새로운 문제 해결을 추구할 수 있는 문항을 제시하면 좋다.

 ◾ 성취 기준에 근거하여 평가 문항을 제시해야 한다. 

 ◾ 어떤 주제에 대한 자신의 입장을 간단히 제시하는 것보다 자신의 입장에 대한 근거를 잘 제시할 수 있어야 한다. 

 ◾ 학생들의 학습수준과 특성을 고려하여 출제해야 한다.

 ◾문항 제작에 충분한 시간을 투입해야 한다.

 

논·서술형 평가 문항에서 유의해야 할 사항을 정리하면 다음과 같다.

 

1. 발문 자체가 명료하고 구체적이어야 한다.

예) 민주주의 사회를 만들기 위해 노력해야 할 자세를 서술하시오.

⇒ 4.19 혁명을 통해서 알 수 있는 민주 시민으로서 지켜야 할 교훈 2가지를 제시하고 그 이유를 쓰시오.

 

2. 채점 기준이 구체적으로 제시될 수 있어야 한다.

 

예) 위 글의 사례를 공리주의와 칸트 입장에서 도덕적인 판단을 내리고 그 이유를 쓰고 이 사례에 대한 자신의 입장을 3가지 이상 논하시오. (총 30점)

⇒ (도덕적 판단 각 2점, 총 4점 / 공리주의와 칸트 입장에서 그 이유를 제시하기 각 4점, 총 8점 / 자신의 입장 1가지 당 4점, 총 12점 / 분량이 200자 미만 시 감점 채점함)

 

3. 주관식 답안지 제시 시 채점 기준(표)와 모범 답안 사례가 제시되어야 한다.

 

◾ 평가 문항 및 채점 기준

【논·서술형】 남북한 통일시 예상되는 문제점을 3가지 이상 설명하고 그중에서 1가지 선택하여 그 대안을 제시하시고. 그리고 그 대안에 대한 예상되는 반론을 제시하고 이를 재반론하시오.

(채점기준 : 문제점 각 5점, 합 15점 / 대안 5점 / 예상되는 반론 5점 / 재반론 5점 / 총 35점)

◾ 모범 답안 예시

[통일시 예상되는 문제점 예시]

1. 사회적 혼란 및 문화적 차이에 따른 갈등 발생

2. 막대한 통일 비용

3. 최고 지도자 선출 문제

4. 주변 국가들의 견제 등

 

[대안 예시]

-통일 비용 문제 해결 – 통일 이전부터 통일세 신설, 국제기금 지원 방안 마련 등

 

[예상되는 반론 예시]

-통일세에 대한 국민들의 조세 저항이 예상되고 통일 비용에 대한 부담감이 현실적으로 크다.

 

[재반론 예시]

-통일 비용은 기본적으로 소모성 경비가 아니라 투자비라는 국민적 인식의 전환이 필요함

-미리 통일 기금을 축적하고 통일의 필요성 홍보 및 투자 차원에서 접근할 수 있도록 함

-군사비 감축, 통일에 따른 재건 사업, 대륙 진출을 위한 통로 확보 등으로 문제 해결 방안을 다양한 준비할 수 있어야 함

 

4. 정성평가 요소 반영

위에서 제시한 루브릭은 정량평가에 초점을 맞춘 사례라고 할 수 있다. 그런데 정량평가에만 초점을 두면 질적 요소를 평가하는데 한계가 있다. 예컨대, "지역 경제 활성화를 위한 방안 3가지를 서술하라"고 한다면 3가지 해결방안을 모두 써야 만점을 받을 수 있다. 그런데, 각 해결방안은 2문장 정도 간단하게 써도 기준에 맞으면 만점을 받을 수 있다. 하지만 1가지 해결방안에 대하여 창의적인 방안을 깊이있게 500자 이상 서술해도 평가기준 상 1/3밖에 점수를 받을 수 밖에 없다. 그래서 정성평가 요소를 보완할 필요가 있다. 위의 사례 경우, 해당시 가산점을 줄 수 있는 기준을 제시할 수 있다는 것이다.

 

논·서술형  평가 문항을 검토할 때는 다음의 질문을 통해 점검하는 것이 좋다.

 

◾ 교육과정의 정상적 운영을 기할 수 있게 출제되었는가?

◾ 발문에 묻고자 하는 내용을 정확하게 물었는가?

◾ 발문과 관련하여 답지의 의도가 분명하게 드러났는가?

◾ 발문이 너무 길어 해석 자체에 부담을 주지 않았는가?

◾ 보기는 문제 해결에 필요한 내용만 담고 있는가?

◾ 관점에 따라 다양한 반응이 나올 가능성은 있는가?

◾ 예상하고 있는 문항 해결 시간은 적절한가?

◾ 수업 내용과 평가 문항이 잘 연결되고 있는가?

◾ 민감한 내용이 포함되고 외부 민원의 소지가 있을 수 있는가?

◾ 모범 답안은 미리 작성되어 있는가? 등

 

[참고문헌]

김현섭(2018), "철학이 살아있는 수업기술", 수업디자인연구소

강승호 외(1999), 현대 교육평가의 이론과 실제, 양서원