비전공자를 위한 AI 핵심 논문 지도 - 30papers에서 출발하기
한 줄 결론
30papers는 비전공자가 처음부터 끝까지 완독해야 할 논문 목록이라기보다, 현대 AI가 어떤 질문들을 거쳐 여기까지 왔는지 보여주는 지도에 가깝다.
논문을 성경처럼 대하면 금방 지친다. 하지만 길표지판처럼 쓰면 꽤 유용하다. 핵심은 논문을 전부 읽는 것이 아니라, 각 논문이 어떤 질문에 답하려 했는지 파악하는 것이다.
왜 wiki/Concepts가 아니라 AI/인가
처음에는 이 노트를 wiki/Concepts/에 넣었지만, 다시 보니 분류가 좁았다. 이 자료는 단일 개념 설명이 아니라 다음 요소가 함께 움직인다.
- 논문 목록
- 읽기 순서
- 개별 논문 노트
- 원문·해설 링크
- 초심자용 도식 이미지
- 앞으로 계속 확장될 LLM·RAG·alignment 자료
그래서 별도 AI/ 카테고리를 만든다. AI/Roadmaps/는 길잡이, AI/Papers/는 개별 논문 노트, AI/Assets/는 설명용 이미지 보관소로 쓴다.
출처
- GeekNews: 30 Papers - 일리야 서츠케버 추천 AI 핵심 논문 목록 요약
- 원 사이트: 30 papers · The reading list Ilya Sutskever gave John Carmack
- 원 사이트 설명: 일리야 서츠케버가 존 카맥에게 추천했다는 소문 기반의 AI·딥러닝 핵심 논문 목록. 현재 사이트에는 30개가 아니라 27개 항목이 정리되어 있다.
시각 자료 읽기 원칙
초심자에게 논문 그림은 본문보다 먼저다. 단, 원문 그림을 무단 복제해 공개 노트에 붙이기보다는 다음 방식이 안전하다.
- 이 노트에는 이해를 돕는 설명용 도식을 넣는다.
- 원문 그림은 각 논문 노트의
원문에서 먼저 볼 그림섹션 링크로 확인한다. - 처음에는 그림의 모든 기호를 해석하지 말고, 화살표가 무엇에서 무엇으로 이동하는지 본다.
현대 AI 흐름 7단계
| 흐름 | 대표 항목 | 쉬운 설명 | 먼저 볼 이미지 |
|---|---|---|---|
| CNN | CS231n, AlexNet, ResNet | 이미지를 보는 법 | convolution/filter 그림 |
| Attention | Bahdanau attention, Pointer Networks | 필요한 정보를 다시 찾아보는 법 | attention alignment 그림 |
| Transformer | Attention Is All You Need, Annotated Transformer | attention 중심으로 문맥을 병렬 처리하는 법 | Transformer architecture, Q/K/V 그림 |
| Memory/Relation/GNN | Neural Turing Machines, Relation Networks, Message Passing | 기억·객체·관계를 계산하는 법 | memory matrix, graph message passing 그림 |
| Scaling | Scaling Laws, GPipe, Deep Speech 2 | 크게 만들고 훈련하는 법 | loss와 model/data/compute 그래프 |
| Compression/Complexity | MDL, Kolmogorov Complexity, Complexodynamics | 학습을 압축과 일반화로 이해하는 법 | 압축·복잡도 개념도 |
먼저 볼 만한 5개 항목
| 순서 | 항목 | 링크 | 왜 먼저 보나 |
|---|---|---|---|
| 1 | The Unreasonable Effectiveness of RNNs - RNN 직관 | 원문 / 30papers | 다음 문자를 맞히는 단순한 과제가 어떻게 문체와 구조를 낳는지 감각적으로 보여준다. |
| 2 | Understanding LSTM Networks - LSTM 입문 | 원문 / 30papers | 기억은 저장이 아니라 선택·삭제·출력의 문제라는 점을 그림으로 이해하게 한다. |
| 3 | Attention Is All You Need - Transformer 출발점 | arXiv / PDF / 30papers | 현대 LLM 구조의 출발점이다. Figure 1만 봐도 왜 판이 바뀌었는지 보인다. |
| 4 | The Annotated Transformer - 구현으로 읽는 Transformer | 원문 / 30papers | 원논문 그림과 수식을 실제 코드 부품으로 번역해준다. |
| 5 | Scaling Laws for Neural Language Models - 스케일링 법칙 | arXiv / PDF / 30papers | 왜 모델·데이터·연산량을 키우는 경쟁이 생겼는지 이해하게 한다. |
나중에 확장해서 볼 만한 주요 논문/자료
| 주제 | 논문/자료 | 링크 | 비전공자용 핵심 질문 |
|---|---|---|---|
| BERT | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | arXiv / PDF | 문장을 앞에서 뒤로만 읽지 않고 양쪽 문맥으로 빈칸을 맞히면 무엇이 달라지나? |
| GPT-3 | Language Models are Few-Shot Learners | arXiv / PDF | 거대한 모델은 왜 예시 몇 개만 보고 새 과제를 따라 하는 것처럼 보이나? |
| InstructGPT | Training language models to follow instructions with human feedback | arXiv / PDF | 다음 단어 예측 모델을 어떻게 사람 지시를 따르는 모델로 조정하나? |
| Chain-of-Thought | Chain-of-Thought Prompting Elicits Reasoning in Large Language Models | arXiv / PDF | 답만 요구할 때와 풀이 과정을 유도할 때 모델 행동은 어떻게 달라지나? |
| RAG | Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks | arXiv / PDF | 모델 내부 기억만 믿지 않고 외부 문서를 검색해 답하게 하면 무엇이 좋아지나? |
| Mixture of Experts | Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity | arXiv / PDF | 모든 부품을 매번 쓰지 않고 필요한 전문가만 호출하면 규모를 어떻게 키울 수 있나? |
| Constitutional AI | Constitutional AI: Harmlessness from AI Feedback | arXiv / PDF | 인간 피드백만이 아니라 원칙과 규칙으로 모델 행동을 조정할 수 있나? |
추천 읽기 순서
- The Unreasonable Effectiveness of RNNs - RNN 직관의 생성 예시와 RNN 반복 구조 그림
- Understanding LSTM Networks - LSTM 입문의 LSTM gate 그림
- Attention Is All You Need - Transformer 출발점의 Figure 1과 Q/K/V 개념
- The Annotated Transformer - 구현으로 읽는 Transformer의 attention 코드 대응
- Scaling Laws for Neural Language Models - 스케일링 법칙의 loss 그래프
- 이후 BERT, GPT-3, InstructGPT, RAG, Chain-of-Thought, MoE, Constitutional AI로 확장
비전공자용 읽기 규칙
1. 원논문 완독을 목표로 하지 않는다
처음에는 초록, 도입부, 그림, 결론만 봐도 된다. 논문을 끝까지 못 읽었다고 실패가 아니다.
2. 수식보다 질문을 먼저 잡는다
각 논문에 대해 다음 세 가지만 적으면 충분하다.
- 이 논문은 어떤 문제를 해결하려 했나?
- 이전 방식의 한계는 무엇이었나?
- 이후 AI 흐름에 어떤 문을 열었나?
3. 그림을 먼저 본다
초심자에게 그림은 장식이 아니다. 그림은 논문이 독자에게 던지는 첫 번째 손잡이다. Figure 1을 이해하면 논문 절반은 아직 몰라도 방향을 잃지 않는다.
4. 다시 만나는 개념만 깊게 본다
한 번 보고 지나가는 개념보다, 여러 글에서 반복해서 나오는 개념이 더 중요하다. Attention, Transformer, scaling, retrieval, alignment 같은 단어가 그렇다.
최종 판단
30papers는 비전공자에게도 유용하다. 단, 유용해지는 조건이 있다.
이 목록을 “내가 언젠가 다 읽어야 할 27개 논문”으로 보면 무겁고 비효율적이다. 반대로 “현대 AI가 어떤 문제들을 차례로 만나고 해결해왔는지 보여주는 지도”로 보면 오래 쓸 수 있다.
논문을 숭배하지 말고, 논문을 길표지판으로 격하시킬 것. 그때 비로소 이 목록은 위협적인 산맥이 아니라, 걸어볼 만한 경로가 된다.