KEYWORD : crowdsourcing, worker training, assessment, education
Introduction
k-12 교사들에게 데이터를 이용하여 지도하는 능력을 기대함. 가장 흔하게 사용되는 데이터는 의무 시험과 같은 표준화된 시험임.
→연구의 시작을 “k-12 교사들에게는 이미 매일 현장과 밀접한 풍부한 정보들(종이시험지, 구술 발표, 쪽지 시험 등)이 제공된다.” 으로 설정하고자 함
데이터 사이언스와 LA가 발전하면서 이러한 종류의 형성평가 정보들은 학생들의 학습 과정에 대한 피드백과 교수방법 개선을 위해 사용되고 있음.
하지만 이러한 형성평가 데이터를 활용하는 것은 비싸거나, 시간 소요가 큼. 교사들은 스스로 처리하거나 기관과 파트너를 맺어 채점 시스템과 데이터 파이프라인 과정을 거쳐야함. 이는 비싸며 시간이 많이 걸림. 컴퓨터 처리가 시간과 비용을 절약할 수 있지만, 특정한 형태의 데이터만 가능하며 자동채점에 완전히 의지하기에는 복잡하거나 모호한 것들이 많음.
어떻게 하면 교사들이 매일 수집하게 되는 충분하고 다양한 교육 데이터들을 잘 활용할 수 있는 시스템을 개발할 수 있을까?
→표준화된 평가와 디지털 플랫폼을 통해 수집된 LA만이 유용한 데이터의 형태가 아님을 알아야함.
→교사와 직접적으로 연관되어 있는 해석학을 설계하는 것이 교육적으로 더욱 유용할 것.
LA와 HCI(Human-Computer Interaction)에 영감을 받아 crowdsourcing 방안으로 매일의 교육 데이터를 효율적으로 처리할 방안을 고안함.
crowdsourcing: 인공지능이 아직 할 수 없는 일들을 아웃소싱 주는 방안으로볼 수 있음. 집단지성을 이용하며 많은 수의 사람들에게 분리되고 단순한 일을 주어서 전체로 보았을 때에는 전문가와 비슷한 일을 하도록 고안한 방안.
연구 목표
2)워커 선별, 멀티미디어 지침 제공과 예시 제공 등 설계 핵심들을 찾아보고자 함.
3)집단의 학습 혜택에 대해서 제시해보고자 함.
Theoritical Framework
Study 1: Assessing writing skills
결론: 짧은 서술형 개방형 응답에 대한 크라우드 소싱의 잠재력을 보여줌. 지침 제공 방법은 성능에 아무 영향을 미치지 않으며 심사를 거친 워커들이 더 높은 역량을 보여줌. 또한 비용면에서도 효율적임. 800명 학생의 에세이 데이터를 2명의 심사를 거친 워커가 채점할 때 10개의 에세이당 440달러가 소요됨. 이는 교사들에게 초과근무 수당(50달러/시간당/교사당)을 제공하거나 컴퓨터 시스템을 개발하는 것 보다 저렴함.
결론: 설명이 필요한 교육 데이터 채점을 크라우소싱하는 데에는 잠재력이 있다. LA에서 아직 underexplored되어있는 크라우드 소싱 분야가 가진 힘을 보여주었다.
☃️생각거리