논문 선택 취지

• 최근 딥러닝, 통계학에서 종종 볼 수 있는 **변분추론(variational inference)**이 무엇인지 감을 익히자 (변분추론을 보기 드물 정도로 잘 활용한 논문)
• 확률 모형에 담긴 철학을 이해하고 왜 그런식으로 모델을 구축하는지 이해해보자
• 발제 아이콘이 외계인인 이유 : 처음 보면 외계어처럼 느껴질것이라서

이연복 쉐프가 볶음밥 만들때 웍질을 한다고 해서, 웍질이 들어가야만 볶음밥인것은 아니다.

Prequisition

확률 모형(probabilistic model)과 통계적 추론(statistical inference)

문항반응이론(IRT)과 심층지식추적(DKT)

잠재변수모형(latent variable model)

1. Introduction

• 언어학습은 (1)표준화된 지식과 문항으로 방대한 상호작용 데이터가 있으며 (2) 습득하는데 오래 걸려 상호작용 시퀀스가 길고 (3) 망각이 자주 일어난다는 점에서 DKT에 적합하다.

문장에서 사용된 ‘are’ 가 연결동사인지 혹은 진행형 시제를 나타내기 위한 것인지 판단하는 문제에 대한 응답 시나리오 예시.

• 문장을 완성하는 문제에서 학생이 ‘are’를 제대로 넣었는지 여부에 따른 시나리오. 문항 및 응답(체크 or 엑스) 아래에 표시된 분홍색 막대는 응답자가 연결동사로 생각하고 있는 정도를, 파란색 막대는 시제(tense)로 받아들이고 있는 정도를 나타낸다. 이 둘은 잠재변수이며, 기존의 DKT모형은 잠재변수를 사용하지 않으므로 이를 표현할 방법이 없다.
• 언어학습 과정에서 응답은 불확실(noisy)하기 때문에 잠재변수 모델링이 더욱 중요하다. (해당 domain 문항의 discrimination과 관련됨)

2. Background

Variational Autoencoder (VAE, Kingma 2013)

Long-short term memory (LSTM, Schmidhuber 1997)

Deep Knowledge Tracing (DKT)

Deep Knowledge Tracing