문항반응이론에 대한 간단한 소개

A brief introduction to IRT.pdf

Cognitive model discovery

Covnitive model이란 인지과정을 근사적으로 표현하는 모델이다. 지식, 개념, 역량과 같이 인지적이고 관찰할 수 없는 요소들을 문제 해결의 단계적 대응이라는 관찰 가능한 요소를 통해 표현하려는 시도. 따라서 적응형 학습의 구현에 중요하다.

Knowledge component (KC) : 특정 작업 또는 문제해결 단계를 성공하기 위해 필요한 사실, 개념 또는 기술

통계적으로 이를 형식화 한 것을 KC model 또는 Q-matrix 라고 하며, 여기에 문항반응이론을 좀 변형해서 결합한게 additive factor model (AFM) 인 것 같다.

학생들의 응답에 의해 문항(q)과 개념(con)사이의 대응관계를 나타낸 예시. 한번에 뚝딱 만들어지는게 아니라 수정을 거치며, 알고리즘적으로 생성할 경우에는 무작위로 초기화된 q-matrix에 대해서 경사상승법(hill-climbing algorithm)을 사용한다(to avoid local minima). 이진 값이 아니라 학생이 옳게 응답할 확률로 나타낼 수도 있음. (Brewer, 1996) 학생의 개념이해 여부를 나타낸 이진 벡터인 concept state $c$ 와 q-matrix $Q$ 에 대하여, ideal response vector (IDR)는 다음과 같이 표현된다. ( ¬는 not 연산자 )

$$ \textrm{IDR}=\neg((\neg c)Q) $$

위의 q-matrix에서 예를 들어 $\neg c=1001$ 이라면 $(\neg c)Q=101001$ 인데 이는 학생이 제대로 풀 수 없는 문제에 해당함. 따라서 IDR vector는 학생이 문제를 풀 수 있는지 여부를 나타냄.

Barnes, T. (2005). The Q-matrix method: Mining student response data for knowledge. Proceedings of AAAI 2005: Educational Data Mining Workshop

$$ p_{ij}=\Pr (Y_{ij}=1 | \theta_i, \vec \beta , \vec \gamma)=\sigma (\theta_i+\sum_{k} q_{jk}\beta_{k} + \sum_{k}q_{jk}\gamma_kT_{ik}) $$

여기서 $\sigma(x)=1/(1+e^{-x})$ 인 sigmoid 함수이고

$Y_{ij}$ : 문항 j 에 대한 학생 i 의 응답

$\theta_i$ : 학생 i 의 숙련도

$\beta_k$ : 기술(skill) k 의 어려움

$\gamma_k$ : 기술 k 를 습득하기 위한 learning rate

$T_{ik}$ : 학생 i 가 기술 k를 습득하기 위해 투자한 시간

$q_{jk}$ : q-matrix의 jk-성분. 즉 문항 j가 기술 혹은 개념 k와 관련있는지 여부