LLM 논문 진화 지도 (MOC)

이 페이지의 목적

이 문서는 LLM 논문을 순서대로 읽기 위한 허브(MOC)입니다.
처음에는 Attention Is All You Need를 시작점으로 두고, 이후 논문 노트를 하나씩 연결해 나갑니다.

읽기 로드맵

Transformer (2017) → BERT (2018) → GPT-2 (2019) → GPT-3 (2020) → InstructGPT (2022) → LLaMA (2023) → Efficiency/Reasoning 계열

현재 읽기 상태

1. Attention Is All You Need (2017) 논문 노트
2. BERT (2018) - 작성 예정
3. GPT-2 (2019) - 작성 예정
4. GPT-3 (2020) - 작성 예정
5. InstructGPT (2022) - 작성 예정
6. LLaMA (2023) - 작성 예정

축별 확장 경로

• Base Transformer line
• Instruction tuning line (RLHF, preference alignment)
• Efficiency line (FlashAttention, long context)
• Reasoning line (Chain of thought, inference scaling)

노트 작성 템플릿

각 논문 노트는 아래 항목을 유지합니다.

• 한 줄 요약
• 문제 정의
• 핵심 아이디어
• 실험 결과 핵심 수치
• 한계와 후속 연구
• 다음으로 읽을 논문

운영 규칙

• 새 논문을 읽으면 이 MOC에 먼저 링크를 추가합니다.
• 논문 노트가 생기기 전에는 "작성 예정"으로 둡니다.
• 작성이 끝나면 stage를 seedling -> budding -> evergreen로 올립니다.