STELA_5분DJ - Google Jamboard

Abstract The popularity of generative text AI tools in answering questions has led to concerns regarding their potential negative impact on students’ academic performance and the challenges that educators face in evaluating student learning. To address these concerns, this paper introduces an evolutionary approach that aims to identify the best set of Bloom’s taxonomy keywords to generate questions that these tools have low confidence in answering. The effectiveness of this approach is evaluated through a case study that uses questions from a Data Structures and Representation course being taught at the University of New South Wales in Canberra, Australia. The results demonstrate that the optimization algorithm is able to find keywords from different cognitive levels to create questions that ChatGPT has low confidence to answer. This study is a step forward to offer valuable insights for educators seeking to create more effective questions that promote critical thinking among students.

1. Introduction

• 생성형 텍스트 AI
  • 챗GPT와 같은 생성형 택스트 인공지능 도구의 인기
  • 방대한 양의 텍스트 데이터를 학습하고 딥러닝 알고리즘을 통해 질문에 대하여 인간과 유사한 답변을 생성
• 부정적인 영향에 대한 우려
  • 인공지능 도구에 대한 지나친 의존
  • 학생: 비판적 사고력, 적응력 저하
  • 교사: 학생 성과 평가의 어려움
  • AI 도구에 대한 의존도를 줄이면서 효과적으로 학생 평가를 하는 방법 필요
• 블룸의 교수목표분류
  • 기억하기, 이해하기, 적용하기, 분석하기, 평가하기, 창조하기 등 6가지 수준으로 인지적 목표 분류

  • 평가도구 설계시 블룸의 분류법 사용

• 연구
  • 텍스트 생성 AI 도구가 정답에 대한 신뢰도가 낮은 질문을 생성하기 위해 블룸의 분류군 키워드 선택을 최적화하는 접근 방식 제안
  • 호주 뉴사우스웨일스대학교 캔버라 캠퍼스의 데이터 구조 및 표현 과목에서 출제된 여러 질문들에 대하여 챗GPT의 답변 신뢰도를 낮추는 시도
  • —> 의견: 신뢰도에는 여러 종류가 있다 / 신뢰도 만큼이나 타당도도 중요하다
  • 평균 95%에서 45%로 낮춤, 또는 0%의 신뢰도의 질문을 생성하는데 사용할 수 있는 일련의 키워드를 식별할 수 있음
  • 신뢰도 감소: AI가 쉽게 맞출 수 없는 평가, 학생의 이해와 지식을 더 잘 평가할 수 있을 것으로 기대됨
  • 단, 생성형 AI의 특성을 고려했을때 블룸의 분류 키워드를 무작위로 조합하는 방식은 효율적이지 않음

2. Overview

• 생성형 AI 도구: 인기와 성능을 고려하여 오픈AI의 챗GPT에 집중
• 블룸의 교수목표 분류
  • 각 범주에 속하는 동사
    • Remembering: recognize, recall, retrieve, reproduce, list, name, define, identify, match, label, select, outline
    • Understanding: explain, summarize, paraphrase, infer, classify, compare, contrast, exemplify, generalize, predict, discuss
    • Applying: apply, use, demonstrate, illustrate, interpret, operate, schedule, sketch, solve, modify, relate, choose
    • Analyzing: analyze, distinguish, categorize, diagram, differentiate, discriminate, infer, select
    • Evaluating: evaluate, appraise, criticize, judge, justify, support, weigh, assess, interpret, argue, compare, contrast, rate
    • Creating: create, design, invent, compose, plan, formulate, generate, hypothesize, produce, develop, originate, arrange, construct
  • 진화 알고리즘(EA)
    • 자연의 진화 과정을 모방하여 복잡한 문제를 해결하는데 사용됨
    • 자연선택: 최상의 솔루션은 다음 세대에 영향을 미칠 가능성이 높다
    • 주요 프로세스: 재조합, 돌연변이
      • 재조합: 선택된 솔루션을 결합하여 새로운 솔루션 생성
      • 돌연변이: 단일 솔루션에 작은 변화를 줘서 다양성 유지
    • 새로운 솔루션은 부모 솔루션과 경쟁하여 가장 우수한 솔루션이 선택되어 새로운 모집단을 형성하거나 모든 새로운 솔루션이 선택되어 이전 모집단에서 가장 우수한 솔루션 중 일부를 유지할 수 있음

3. Proposed approach

• 블룸의 분류법에서 무작위로 선택된 n개의 키워드로 구성된 p개의 솔루션(염색체)을 생성 선택된 키워드의 수를 최적화 하기 위해 빈 단어가 목록에 추가됨
• 챗GPT에 의해 생성된 답변의 신뢰도 점수를 최소화하는 방향으로 선택, 교차, 돌연변이 연산자를 통해 솔루션이 진화됨

모델을 활용하여 키워드 포함 질문 생성