👩‍🎓 자기소개

⛳ 주제 선정 배경 및 목적

• 지금까지 총 4회 진행한 2024년 1분기 STELAB에서 50%(2회) 이상 NLP 모델이 언급된 것을 미루어 보아, 이에 관하여 관심이 있는 동료분들이 계시고 앞으로도 이에 관해 다뤄질 수 있다고 생각함.
• 기초가 탄탄해야 건물이 무너지지 않듯이, NLP 모델의 핵심인 Transformer에 관해 살펴보면서 NLP 모델에 관한 기초를 함께 최대한 쉽게 다지고자 함.
• 최근 공감 유형이 라벨링된 약 14만개 이상의 한국어 대화 데이터를 정돈하였는데 이를 활용하여 NLP 튜토리얼을 제공하면 조금이나마 NLP 실행 연습에 도움이 될 수 있을 것이라 생각함.

# 이론(20분)

1️⃣ Transformer 이전

1) RNN(1986) 👉

• Recurrent Neural Network(순환신경망)

  • 왜 순환신경망이라고 이름 붙였을까요?

    

    *그림 출처: https://blog.naver.com/PostView.nhn?blogId=winddori2002&logNo=221974391796

    

    *그림 출처: https://m.health.chosun.com/svc/news_view.html?contid=2019060400005

  • 예시: 아랜이는 어제 떡볶이를 먹었어요(시퀀스). 그리고 그녀는 오늘도 똑같은 음식을 먹었어요(시퀀스).

2) Seq2Seq(2014) 👉

• Sequence-to-sequence network(시퀀스-투-시퀀스 네트워크)

  • 왜 시퀀스-투(보낸다)-시퀀스라고 이름 붙였을까요?

    

  • 두 개의 RNN를 결합하여 인코더-디코더(Encoder-Decoder) 구조를 만듦.

  • 문제점: 고정된 크기의 Representation Vector(Context Vector)를 사용하면 정보의 손실 발생

  • 해결방법: 모든 단어를 같은 비중으로 압축하지 말고 중요한 단어만 더 큰 비중을 줘서 성능을 높이자!

3) Attention(2014)

• Attention(어텐션)

  • 왜 어텐션이라고 이름 붙였을까요?

    

    *사진 출처: https://brunch.co.kr/@plutoun/24

    

    *사진 출처: https://velog.io/@sujeongim/NLPSeq2Seq-with-Attention

  • 예시: “김치찌개를 만드는 방법은 김치와 국간장을 넣고 계속 끓이는 것입니다.”

    • ‘김치, 국간장’에 어텐션→ 어떤 재료가 필요한지 잘 알 수 있음.
    • ‘계속 끓이는 것’에 어텐션 → 어떻게 만드는지 방법을 잘 알 수 있음.

2️⃣ Transformer(2017) 등장

*사진 출처: 씨제이엔터테인먼트, 파라마운트픽처스, 공정 이용, https://ko.wikipedia.org/w/index.php?curid=1354988

“우리는 RNN과 CNN을 완전히 배제하고 Attention 메커니즘에만 기반을 둔 새롭고 단순한 구조인 Transformer를 제안합니다.” - Vaswani et al., 2017 -

NIPS-2017-attention-is-all-you-need-Paper.pdf

• 문제: 기존의 RNN이 순차적으로 계산한다는 특성 때문에 병렬 처리가 불가능함.
• 해결방안: 문장(sentence)에서 연속성이라는 개념을 배제하고, 대신에 Attention 메커니즘으로 각 단어들의 상관관계를 구하자. *self attention
  • 비유) 즉, “나는 깜찍한 포리”와 “포리 나는 깜찍한”이 동일하게 취급된다는 것임.

1) 기본 구성

Vaswani et al., 2017

(비유)

• Inputs

  • “새해 복 많이 받으세요”

• Input Embedding

  • [[0] [1] [0] [1] [1] [0]]

• Positional Encoding

  • [[0+1] [0+2] [0+3] [0+4] [0+5] [0+6]]

• Multi-Head Attention

  • [[0+1] [0+4]] [[0+2] [0+5] [0+6]]

• (Position-wise) Feed Forward

  • [[2x(0+1)] [3x(0+4)]] [[2x(0+2)] [3x(0+5)] [4x(0+6)]]

• Masked Multi-Head Attention

  • [[0+1][0+4]] [[ ///////// ]]

• Add & Norm

  • 잔차 연결, layer 정규화

• Output Probabilities:

  • "세뱃돈" : 0.1, "주세요" : 0.2, "갑진년" : 0.3

• 엄밀하게 말하면, Seq2Seq에서 제안된 인코더와 디코더(Encoder-Decoder) 구조를 사용함.

  • 단, 기존의 LSTM 자리에 다양한 모듈이 있고 인코더와 디코더를 여러 개 쌓아올림.

1-1) Positional Encoding

• Positional encoding을 통해 입력 순서를 입력 단어에 표기하여 문장에 연속성을 부여함.
  • 예시) [나는+1] [깜찍한+2] [포리+3]
• 실제로는 각 단어에 0~1사이의 값을 더함.
  • 한계: 문장의 길이에 따라 더해지는 값이 변해서 단어간 거리가 일정하지 않음.