Recent Experience

• Using LLM in keyword extraction for 1k document → bypass lazy human labor

• What if using LLM into meta information extraction?

  → better than data augmentation which won’t have scientific solutions

• (별도 화면공유)

Key Papers

Moon, H., Davis, R., Neshaei, S. P., & Dillenbourg, P. (2024). Using large multimodal models to extract knowledge components for knowledge tracing from multimedia question information. arXiv preprint arXiv:2409.20167.

• Url

  • https://educationaldatamining.org/EDM2025/proceedings/2025.EDM.long-papers.170/index.html
  • https://github.com/DoniMoon/LLMKT

• Used Dataset

  • Statistics 2011
  • French1 - Spring 2014
  • Psychology MOOC GT - Spring 2013

• Key ideas

  

• 예시

  1. LLM으로 지식요소 획득 → 자연어로 나오고, 문항 간 공유가 되는 형태가 아니라는 단점

     • 예) 문항1의 지식요소: “이차방정식을 풀 수 있다”, “이차방정식의 해를 안다”

  2. 지식요소들에 대한 임베딩 획득(Sentence Embedding)

  3. K-means clustering 을 통해 기존 자연어로 추출된 지식요소들을 통합함

     → 비슷한 것들끼리 하나의 지식요소로 뭉침

  4. 두 가지 방식으로 평가함

     1. AFM(Addictive Factors Model)
     2. KT: IRT, SAKT, DKT, PFA(performance factor analysis), DAS3H

<aside> ❓

기존 적응형검사, 지식추적 연구에서 요구하는 데이터셋의 크기, 데이터의 필드들(문항에 메타정보가 있는가, 지문정보가 있는가, 학생의 시도횟수가 나오는가)이 너무 과함 → LLM 기반의 확장은 민간에서는 충분히 고려할만한 부분임 (이론연구로는 잘 모르겠음)

</aside>

Cen, J., Lin, J., Zhong, W., Zhou, D., Chen, J., Yang, A., & Zhou, Y. (2025). LLM-driven Effective Knowledge Tracing by Integrating Dual-channel Difficulty. arXiv preprint arXiv:2502.19915. → 문항난이도를 활용하는 논문이라 간단하게 보고 싶었으나, 저자에 의해 철회되었음

Experiment

• 화면공유