요약 및 소감

• 한줄요약: DKT의 문제점 두 가지를 확인하고, 이를 보완하기 위해 손실함수(Loss function)을 새롭게 제안함
• 소감: DKT 연구를 위해 문제를 도출하는 방식과 이를 해결하기 위한 과정이 상세하게 기술되어 있어서 후속 연구를 하는데 많은 도움을 줌

Deep Knowledge Tracing이란?

• 준오쌤 DKT 강의 참고 https://dndrl.notion.site/Deep-Knowledge-Tracing-8bc58113427b450b8135bec20b60d782

Deep Knowledge Tracing의 두 가지 문제점

그림을 참고하면서 아래의 두 가지 문제를 살펴봅시다.

1. DKT가 관측한 현 시점의 데이터를 reconstruct 할 수 없는 문제

• 특정 문제를 틀렸는데도 불구하고, 같은 문제를 다시 푸는 상황에서 예측 정답률이 오르는 경향 → 직관에 반함

• 이유 1. DKT의 학습은 다음 문제의 정답 여부에만 의존하기 때문

• 만약 (s32, 0), (s33, 0)으로 된 데이터가 있다면, s32가 틀린 데이터를 활용하여 s33의 예측 정답률을 계산함, 그러나 S32에 대해서는 예측하지 않음 ⇒ 직관적이지 않음 → ???: s32가 s33의 선수지식이다! 왜냐하면 s32 이후 s33을 받았을때는 정답률이 낮아졌지만, s22를 다시 받았을때는 높아졌기 때문! ⇒ 재반박: 만약 s32가 s33의 선수지식요소라면, 첫번째 표는 s32를 틀렸으니 s33도 틀릴 확률이 높겠지만, 두번째 표를 봤을때, s33을 아는데도 불구하고, s32를 틀린 사람이 더 많음

  

  

• 이유 2. 같은 문제가 연달아서 등장한 기록이 데이터에 많이 없기 때문에, 같은 문제를 맞추었다면 다음에도 맞추기 쉽고, 반대로 틀렸다면 다음번에도 틀릴 가능성이 크다는 인간의 직관을 DKT가 학습할 수 없음

2. 예측 결과 $y_t$가 시간에 따라 지나치게 요동치는 현상(wavy transition)

• 학습자의 지식이 서서히 변화한다는 교육적인 직관에 반대되는 결과
• 이유 1. 현재 시점의 interaction 정보에 의하여 DKT가 추정하는 knowledge state가 크게 변화하기 때문
• 이유 2. RNN 구조의 본질적 문제

해결 방안

1. reconstruction error $r$

• DKT 모델이 현재의 값도 고려하도록 아래와 같이 loss function을 새롭게 정의함