Attention Is All You Need - Transformer 출발점

기본 정보

• 원문: Attention Is All You Need
• PDF: arXiv PDF
• 저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
• 최초 공개: 2017-06-12
• 30papers 페이지: Attention Is All You Need
• 지도 안의 위치: Attention, Transformer, 현대 LLM의 구조적 출발점

한 줄 요약

이 논문은 RNN이나 CNN 없이 attention만으로 순차 데이터를 처리하는 Transformer 구조를 제안했고, 이후 현대 대규모 언어모델의 핵심 뼈대가 되었다.

먼저 볼 그림

원논문에서는 Figure 1: The Transformer - model architecture를 먼저 보면 된다. 처음부터 모든 층을 외우려 하지 말고, encoder와 decoder 안에 attention block이 반복된다는 점만 잡는다.

이 논문이 답하는 질문

문장을 꼭 앞에서 뒤로 순서대로 처리해야 할까?

Transformer 이전의 대표적인 순차 모델은 RNN/LSTM 계열이었다. 이 모델들은 문장을 시간 순서대로 처리한다. 하지만 이런 방식은 긴 문맥을 다루기 어렵고, 병렬화하기도 어렵다.

이 논문은 질문을 뒤집는다. 순서대로 기억하는 대신, 문장 안의 모든 위치가 서로를 직접 참조하면 어떨까? 그 답이 self-attention이다.

핵심 아이디어

1. Self-attention

문장 안의 각 토큰이 다른 토큰들과의 관계를 계산한다. 비전공자식으로 말하면, 모델이 문장을 줄줄이 기억하는 것이 아니라 필요한 단어를 다시 찾아보는 방식이다.

2. Multi-head attention

하나의 시선만 쓰지 않고 여러 개의 시선을 쓴다. 어떤 head는 문법 관계를, 어떤 head는 위치 관계를, 어떤 head는 의미적 연결을 볼 수 있다.

3. Positional encoding

Transformer는 RNN처럼 순서대로 읽지 않기 때문에, 단어의 위치 정보를 따로 넣어줘야 한다. 이것이 positional encoding이다.

4. 병렬화

RNN은 순서대로 계산해야 하지만, Transformer는 많은 계산을 병렬로 처리할 수 있다. 이 점이 대규모 모델 학습에 결정적으로 중요했다.

원문에서 먼저 볼 이미지/부분

• PDF의 Figure 1: Transformer architecture.
• Scaled Dot-Product Attention 그림.
• Multi-Head Attention 그림.
• Abstract와 Introduction 마지막 문단.

원문 순서대로 따라 읽기 — 상세 의역과 해설

저작권상 논문 전체를 그대로 옮긴 번역본이 아니라, 원문 섹션 순서를 따라가는 상세 의역·주석이다. 원문 PDF를 옆에 열어두고 이 부분을 읽으면 논문의 논증 흐름을 거의 빠짐없이 따라갈 수 있게 구성했다.

Abstract

• 의역: 논문은 기존 sequence transduction 모델들이 대부분 RNN이나 CNN에 의존했다고 출발한다. 저자들은 recurrence와 convolution을 제거하고 attention만으로 구성된 Transformer를 제안한다. 이 구조는 병렬화가 쉽고, 번역 과제에서 더 빠르게 학습되며 높은 성능을 낸다.
• 해석/요약: 초록의 핵심은 도발적이다. 순서 데이터를 다루는데 순서대로 읽지 않아도 된다는 주장이다. 문제는 attention이 하나의 기능이 아니라 전체 구조의 중심이 되는 순간이다.

1 Introduction

• 의역: Introduction은 RNN 계열이 순차 처리를 잘하지만, 시간 단계별 계산 때문에 병렬화가 어렵고 긴 의존성을 다루는 데 비용이 크다고 설명한다. Attention은 이미 여러 모델에서 보조 장치로 쓰였지만, 이 논문은 attention을 보조가 아니라 주인공으로 만든다.
• 해석/요약: 여기서 논문의 반전은 분명하다. attention은 원래 다른 모델을 돕는 부품이었다. 그런데 이 논문은 묻는다. 보조 장치가 사실 본체라면? 이 질문이 Transformer의 출발점이다.

2 Background

• 의역: 배경 섹션은 계산량을 줄이기 위한 기존 시도들, CNN 기반 sequence 모델, attention 기반 접근을 짚는다. 그러나 기존 방식들은 긴 거리 의존성, 병렬화, 경로 길이 문제에서 한계를 갖는다.
• 해석/요약: 이 부분은 Transformer가 갑자기 하늘에서 떨어진 발명이 아님을 보여준다. 기존 모델들이 해결하려던 병목을 한 문장으로 줄이면, 멀리 있는 단어끼리 빨리 만나게 하라다.

3 Model Architecture

• 의역: Transformer는 encoder-decoder 구조를 유지한다. Encoder는 입력 문장을 연속 표현으로 바꾸고, decoder는 그 표현을 이용해 출력 문장을 만든다. 각 층은 multi-head self-attention과 position-wise feed-forward network를 쌓고, residual connection과 layer normalization을 사용한다.
• 해석/요약: Figure 1은 외워야 할 그림이 아니라 지도다. 왼쪽 encoder는 입력을 이해 가능한 표현으로 압축하고, 오른쪽 decoder는 그 표현을 보며 출력 토큰을 하나씩 만든다.

3.1 Encoder and Decoder Stacks

• 의역: Encoder는 같은 구조의 층을 여러 번 반복한다. 각 층에는 self-attention과 feed-forward sublayer가 있다. Decoder도 여러 층으로 구성되지만, 미래 토큰을 보지 못하게 masked self-attention을 사용하고 encoder output을 참조하는 attention을 추가로 둔다.
• 해석/요약: Decoder의 mask는 중요하다. 모델이 답안지를 미리 보지 못하게 막는 장치다. 자유롭게 보게 하는 것이 아니라, 보지 못하게 금지함으로써 학습이 가능해진다.

3.2 Attention

• 의역: Attention은 Query, Key, Value로 설명된다. Query와 Key의 유사도를 계산해 어느 Value에 얼마나 집중할지 정한다. Scaled dot-product attention은 내적값을 차원 크기로 나눈 뒤 softmax를 적용하고 Value를 가중합한다. Multi-head attention은 이 과정을 여러 head에서 병렬로 수행해 서로 다른 관계를 보게 한다.
• 해석/요약: 비전공자식으로 말하면 Query는 지금 찾는 것, Key는 각 단어의 표지, Value는 실제로 가져올 내용이다. Multi-head는 한 사람의 시선이 아니라 여러 독자의 밑줄을 동시에 보는 방식이다.

3.3–3.5 Feed-Forward, Embedding, Positional Encoding

• 의역: Attention 뒤에는 각 위치별로 같은 feed-forward network가 적용된다. 입력과 출력 단어는 embedding으로 변환되고, embedding과 softmax weight는 공유될 수 있다. Transformer는 RNN처럼 순서대로 읽지 않기 때문에 positional encoding을 더해 단어 위치 정보를 제공한다.
• 해석/요약: Transformer는 순서를 버린 것이 아니라, 순서를 다른 방식으로 주입한다. 순차 처리라는 형식을 버리고 위치 정보라는 표식을 남긴 셈이다.

4 Why Self-Attention

• 의역: 저자들은 self-attention을 recurrent/convolutional layer와 비교한다. 계산 복잡도, 병렬화 가능성, 장거리 의존성을 연결하는 경로 길이를 따진다. Self-attention은 모든 위치가 직접 연결될 수 있어 긴 거리 관계를 더 짧은 경로로 포착할 수 있다.
• 해석/요약: 이 섹션은 논문의 이론적 변명이다. 그냥 잘 됐다는 말이 아니라, 왜 이런 구조가 긴 문맥에 유리한지 계산 관점에서 설명한다.

5 Training

• 의역: 논문은 WMT 번역 데이터, 배치 구성, 사용한 GPU, 학습 시간, Adam optimizer 설정, learning rate schedule, dropout, label smoothing 등을 설명한다.
• 해석/요약: 화려한 구조 뒤에는 훈련 레시피가 있다. 모델의 승리는 순수한 아이디어만이 아니라 데이터·하드웨어·최적화의 조합이다.

6 Results

• 의역: Transformer는 WMT 2014 English-German과 English-French 번역에서 높은 BLEU 점수를 기록하고, 기존 모델보다 더 적은 학습 비용으로 좋은 결과를 낸다. 모델 변형 실험을 통해 head 수, key/value 차원, 모델 크기 등이 성능에 미치는 영향도 비교한다. 추가로 constituency parsing에서도 가능성을 보인다.
• 해석/요약: 여기서 논문은 구조적 주장을 실험 결과로 봉인한다. 새로운 모델이 멋있다는 것만으로는 부족하다. 벤치마크라는 큰 타자의 승인을 받아야 한다.

7 Conclusion / Attention Visualizations

• 의역: 결론은 attention만으로 강력한 sequence transduction 모델을 만들 수 있음을 정리하고, 앞으로 다른 입력·출력 양식에도 적용될 수 있다고 말한다. 뒤의 attention visualization은 head들이 장거리 의존성, 대명사 참조, 문장 구조에 반응하는 사례를 보여준다.
• 해석/요약: 결론의 진짜 의미는 RNN을 완전히 폐기했다는 선언보다 크다. 모델이 문장을 읽는 방식을 시간의 줄에서 관계의 지도 쪽으로 옮긴 사건이다.

원문 도식/이미지 해설

출처: Vaswani et al., Attention Is All You Need, ar5iv HTML 렌더링. 아래 이미지는 ar5iv가 원문 PDF에서 렌더링한 공개 이미지 URL을 직접 참조한다.

Figure 1. Transformer model architecture

• 해설: 논문의 중심 도식이다. 왼쪽 encoder와 오른쪽 decoder가 층을 쌓고, 각 층 안에서 attention과 feed-forward network가 반복된다. 처음에는 세부 수식보다 “반복되는 블록 구조”를 보면 된다.

Figure 2-left. Scaled Dot-Product Attention

• 해설: Query와 Key의 유사도를 계산해 Value를 섞는 attention의 최소 구조다. 모델이 모든 단어를 똑같이 보지 않고, 지금 필요한 단어에 가중치를 둔다.

Figure 2-right. Multi-Head Attention

• 해설: 여러 attention head를 병렬로 돌린 뒤 합친다. 하나의 시선이 아니라 여러 시선으로 문장을 보는 구조다.

Figure 3. Long-distance dependency attention

• 해설: making이라는 단어가 멀리 떨어진 의존 관계를 따라가는 예다. self-attention의 강점은 멀리 있는 단어도 직접 참조할 수 있다는 데 있다.

Figure 4-top. Anaphora attention heads

• 해설: 대명사·지시 관계처럼 문맥상 참조가 필요한 부분에 attention head가 어떻게 반응하는지 보여준다.

Figure 4-bottom. Isolated attention from “its”

• 해설: its라는 단어 하나에서 출발한 attention만 분리해서 보여준다. 특정 head가 매우 날카롭게 참조 대상을 고르는 장면이다.

Figure 5-left. Sentence-structure-related head

• 해설: 문장 구조와 관련된 듯한 attention 패턴을 보여준다. head마다 서로 다른 역할을 배울 수 있다는 논문의 직관을 강화한다.

Figure 5-right. Another structural attention head

• 해설: 다른 head의 구조적 패턴이다. Multi-head attention의 의미는 단순한 중복이 아니라 관점의 분업이다.

비전공자용 독해 포인트

원논문을 처음부터 끝까지 읽으려 하면 어렵다. 먼저 다음만 보면 된다.

1. Abstract
2. Introduction 마지막 문단
3. Figure 1: Transformer architecture
4. Self-attention 설명 부분
5. 결론

수식보다 구조 그림을 먼저 보는 편이 좋다.

다음에 연결되는 항목

• The Annotated Transformer - 구현으로 읽는 Transformer: Transformer 구조를 코드와 함께 따라간다.
• Scaling Laws for Neural Language Models - 스케일링 법칙: Transformer 계열 모델을 크게 만들 때 나타나는 성능 확장 법칙을 다룬다.

공개용 판단

이 노트는 arXiv 초록과 공개 논문 정보를 바탕으로 비전공자용 해설과 자체 설명용 도식만 정리한다. 원문 전체를 복제하지 않고, 원문·공식 렌더링 이미지의 출처를 밝힌 뒤 핵심 도식만 해설과 함께 참조한다.