논문 선정 이유

• 최근 딥러닝의 급속한 발전을 견인한 Transformer 가 무엇인지 감을 익히자.

  

  이 친구는 아닙니다..

• 딥러닝을 활용해서 Knowledge Component (KC) 를 효과적으로 추출한 좋은 사례. 보다 해석성있는 결과를 제공해준다.

Pre-requisite

Knowledge Component (KC)

Recurrent Neural Network (RNN)

Deep Knowledge Tracing (DKT)

Introduction

• RNN 을 지식 추적 과제에 활용한 DKT 의 등장은 뛰어난 예측 성능으로 기존의 고전적인 Knowledge Tracing (KT) 모형을 대체했다. 하지만, DKT 의 경우 학생의 지식 상태 ($s_t$) 가 해석성이 매우 떨어진다는 한계가 있었다.
• 이를 극복하기 위해 질문의 KC 와 학생의 knowledge state 를 분리해서 표상하는 Dynamic key-value memory network (DKVMN) 가 등장했지만, RNN 기반 모형의 한계를 극복하지 못했다. (sparse data)
• Transformer 의 경우, 과거 모든 데이터를 참조하기보다 self-attention 을 활용해서 질문과 관계된 과거 history 만을 참조하는 만큼 일반화에 있어서 더 좋은 성능을 보일 것을 기대함.
• 또한, 질문과 과거 데이터간의 상호작용을 강제함으로써 DKVMN 과 마찬가지로 데이터 기반으로 KC 를 추출할 수 있다.

Background

Transformer : Attention is all you need

Model

Self-Attentive Knowledge Tracing (SAKT)

Experiment

• Model parameters
• Datasets
• Evaluation