논문리뷰: https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10663001&casa_token=ioBlXuasxiMAAAAA:ouGr_lW9s2dj3M2-WA2I0Y0vFYkkCZ_diKCKjZjBZPRklvLHKk_g5EAvtz68t6q1J_VtuJajx8IH&tag=1

• 제목: Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation

1. 연구 배경 및 목표

A. 배경: 개별 지원의 필요성과 LLM의 한계

• 개별 지원의 어려움: 학교 및 대학교 교육 환경에서 이질적인 학습 그룹에 대한 개별 지원은 바람직하지만, 교직원의 한정된 가용성 때문에 현실적으로 완전히 구현하기 어려움
• LLM의 잠재력: GPT-4와 같은 생성형 AI는 우수한 프로그래밍 능력 덕분에 컴퓨터 과학 교육에서 개별 지원을 위한 유망한 주제로 간주됨
• 기존 LLM의 문제: ChatGPT와 같은 상업적 LLM 애플리케이션은 학습자를 안내하기보다는 주어진 프로그래밍 과제의 해결책을 직접적으로 제공하는 경향이 있음. 또한, 외부 LLM 사용 시 학생이 매번 현재 코드나 오류 메시지를 제공해야 하는 번거로움이 있음.

B. 연구 목표: RAG를 통한 피드백 강화

• 시스템 개발: LLM 지원이 통합된 프로그래밍 실습 환경인 Tutor Kai를 개발
• RAG 활용 목적: 강의 내용을 외부 지식 소스로 활용하여 LLM이 생성하는 피드백의 품질을 개선
• 구체적 목표:

1. 환각 방지: 피드백이 실제 검증 가능한 사실에 기반하도록 하여 LLM의 환각(Hallucinations)을 감소

2. 용어 통일: 강의에서 사용된 전문 용어와 구문 사용을 강제

3. 학습 연계: 피드백을 해당 강의 내용에 검증 가능하게 연결하여 학생들이 독립적으로 문제를 해결하도록 안내

2. 핵심 방법론: Tutor Kai와 2단계 RAG 시스템