LLM 논문 진화 지도 (MOC)

이 페이지의 목적

이 문서는 LLM 논문을 순서대로 읽기 위한 허브(MOC)입니다.
처음에는 Attention Is All You Need를 시작점으로 두고, 이후 논문 노트를 하나씩 연결해 나갑니다.

읽기 로드맵

Transformer (2017) → BERT (2018) → GPT-2 (2019) → GPT-3 (2020) → InstructGPT (2022) → LLaMA (2023) → Efficiency/Reasoning 계열

현재 읽기 상태

1. Attention Is All You Need (2017) 논문 노트
2. BERT (2018) 논문 노트
3. GPT-2 (2019) - 작성 예정
4. GPT-3 (2020) - 작성 예정
5. InstructGPT (2022) - 작성 예정
6. LLaMA (2023) - 작성 예정

기초 개념 노트

논문 노트에서 막히는 용어는 아래 순서로 먼저 읽으면 좋습니다.

1. LLM 수학 기초 1: 벡터와 내적
2. LLM 수학 기초 2: softmax와 확률 해석
3. LLM 학습 기초: cross-entropy와 perplexity
4. LLM 기초: RNN과 순차 처리
5. Transformer 기초: Encoder와 Decoder
6. Transformer 기초: Q, K, V 직관
7. Transformer 기초: Residual, LayerNorm, FFN
8. LLM 구조 기초: Encoder-only와 Decoder-only
9. LLM 학습 기초: Pre-training과 Fine-tuning
10. LLM 학습 기초: Masked Language Model

축별 확장 경로

• Base Transformer line
• Instruction tuning line (RLHF, preference alignment)
• Efficiency line (FlashAttention, long context)
• Reasoning line (Chain of thought, inference scaling)

노트 작성 템플릿

각 논문 노트는 아래 항목을 유지합니다.

• 한 줄 요약
• 문제 정의
• 핵심 아이디어
• 실험 결과 핵심 수치
• 한계와 후속 연구
• 다음으로 읽을 논문

운영 규칙

• 새 논문을 읽으면 이 MOC에 먼저 링크를 추가합니다.
• 논문 노트가 생기기 전에는 "작성 예정"으로 둡니다.
• 작성이 끝나면 stage를 seedling -> budding -> evergreen로 올립니다.