• 두 가지 문헌을 활용하여 Learning Analytics for Learning Design에 대해서 발제하고자 함
• 두 가지 문헌은 아래와 같음 Wise, A. F., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69. Li, Q., Jung, Y., & Friend Wise, A. (2021, April). Beyond first encounters with analytics: Questions, techniques and challenges in instructors’ sensemaking. In LAK21: 11th International Learning Analytics and Knowledge Conference (pp. 344-353).

Terminology

• Teacher Inquiry(교수자 탐구) ⇒ 교사가 주체적으로 자신의 수업에 대해 탐구하고, 연구하는 것
• Sensemaking: conscious process of comprehending patterns and connections, figuring out meaning and anticipating the future

Teaching with analytics: Towards a situated model of instructional decision-making

1. Introduction

• 5명의 대학 강사들이 학습 분석 대시보드를 사용하는 과정에 대한 연구
• 연구에서는 인터뷰를 위한 질문지를 개발하고, inductive qualitative analysis를 통해 교수자들이 어떻게 1) 질문하고(asked questions), 2) 데이터를 해석하고(interpreted data), 3) 행동하고(took action), 4) 확인하는지(checked impact)를 확인함

2. Literature Review

• 최근, 강사들이 직면하는 학습 분석은 연구 혁신 분야에서 실제적으로 사용될 수 있는 기술로 이동하고 있음
• 초기 연구: 학습자의 데이터를 활용해서 교수자를 지원하기 위한 도구 설계에 집중됨 ex) Ali, L., Hatala, M., Gašević, D., & Jovanović, J. (2012): 도구에 대한 교수자의 이해에서 효과적인 시각화가 미치는 영향에 대한 연구
• Second Phase: 실제 교수 상황에서 도구 사용 횟수, 시간, 특징 등을 중심으로 사용성을 연구하는 것 ex1) Dazo, Stepanek, Chauhan, & Dorn (2017): 일년동안 14명의 교수자를 대상으로 한 연구에서 대시보드 사용에 대한 낮은 빈도와 사용성을 발견함 ex2) Tarmazdi, Vivian, Sazabo, Falkner, & Falkner (2015): 한학기동안 한명의 교수자를 대상으로 한 연구를 통해, 교수자는 감성 분석 그래프(sentiment analysis)와 팀 역할 분석에 대한 특징(team role analysis features)을 규칙적으로 사용했음을 발견함
• 교수자가 실제 교수 활동 중에 학습분석 대시보드 사용하는 것에 어려움을 느낀다는 연구도 있음 ex) Dazo et al. (2017): 6명의 강사들을 대상으로 한 연구에서, 도구에 대한 높은 열정과 관련없이 학습분석을 통해 확보한 정보를 실제 교수 상황과 연결짓는 것에 어려움을 느낀다는 것을 발견함
• Third Phase: 어떻게 교수자가 학습분석 결과를 행동 가능한 정보로 변환할 수 있도록 지원해줄 수 있는지에 대한 연구가 진행되고 있음 1. 교수자가 흥미로운 교육학적 질문을 발견하고, 교실에서 적절한 증거를 수집하며, 정답을 생성하기 위해 정보를 분석하고 반영하는 것 → 교육 실제를 바꾸는 것 뿐만 아니라 전문성 신장을 위해서 → 학습분석이 교수자 탐구 과정(Teacher inquiry cycle)의 다른 단계를 지원할 수 있다는 연구가 제시됨 ex1) Avramides, Hunter, Oliver, & Luckin (2015): 교수자 질의 과정(Teacher inquiry cycle)의 순서를 변경 ex2) Sergis, & Sampson (2017): 체계적 문헌 리뷰를 통해 학습분석이 교수자 탐구 과정(Teacher inquiry cycle)을 지원해왔는지 2. 학습분석과 학습디자인이 어떻게 학습자의 데이터가 교육적 목적을 달성하기 위한 학습 활동, 자료, 계획을 개발하는 반복적인 과정에 도움을 주는지에 대한 것 ex1) Lockyer, Heathcote, and Dawson (2013): 분석 정보의 두 가지 다른 개념적 카테고리를 이론화함 → checkpoint analytics(whether students access the necessary resources) → process analytics(how students complete the learning tasks) ex2) Bakharia et al (2016): 어떤 유형의 분석이 학습 디자인에 도움이 될 수 있는지와 특정 활동과 변화에서 학습자 참여를 알고 싶다는 교수자들의 의견을 확인함 ex3) Xhakaj, Aleven, & McLaren (2017): 어떻게 학습분석 대시보드가 교실 준비 중에 교사에 의해 실행될 수 있는지에 대한 연구를 진행함. 특정 자료에 대한 학습자들의 학습 과정을 제시하는 것은 학습 디자인을 확인하거나 적절하게 변형시킬 수 있도록 함. 3. 어떻게 학습분석이 교수자가 학습 과정을 관찰하고 그들의 교육 상황에 조화롭고 유연하게 적용할 수 있는지를 중점적으로 다루는 것 ex1) Molenaar, & Knoop-van Campen (2018): 교사들이 학생과 코스에 대해서 그들이 가지고 있는 교육학적 지식을 활성화해서 분석결과를 해석하고 반영한다는 사실을 발견함 ex2) Tan, Koh, & Jonathan (2018): 교사들이 학생들의 참여와 메타인지를 촉진시키기 위해서 분석 결과를 사용한다는 사실을 확인함 4. macro-level: 분석을 행동으로 옮기기 위한 기관 차원의 지원 ex) Rienties et al. (2016): 학생 모니터링의 일반적인 사이클을 참여시키거나, 위기 상황에 있는 학생과 언제 접촉할지 결정하는 것

3. Conceptualizing Instructors' Process of Analytics Use

3. 1. Analytics Use as Sense-Making and Response