Interpretation

Language Models are Few-Shot Learners

2026. 02

GPT-3 논문 핵심 정리: Few-shot Learning이 NLP 패러다임을 바꾼 순간

ChatGPT, Gemini, Claude를 사용해 본 적이 있다면, 당신은 이미 이 논문의 결과물을 경험한 것이다. 2020년 OpenAI가 발표한 "Language Models are Few-Shot Learners"는 오늘날 대화형 AI의 작동 원리를 규정한 출발점이다. 왜 AI에게 예시 몇 개만 보여주면 새로운 작업을 해내는지 그 답이 여기에 있다.

이 논문은 하나의 질문에서 출발한다. "거대한 언어 모델은 fine-tuning 없이도 문맥만으로 학습할 수 있는가?"

2020년 발표된 Language Models are Few-Shot Learners는 GPT-3를 통해 Few-shot learning과 In-context learning의 가능성을 실험적으로 증명한 논문이다.

이 연구는 NLP의 기존 패러다임, Pretrain $\rightarrow$ Fine-tune 구조,를 넘어 "모델을 충분히 크게 만들면 가중치 업데이트 없이도 문맥 속 예시만으로 학습할 수 있다"라는 가설을 제시한다.

논문 요약

모델 규모를 극단적으로 확장하면 언어 모델은 가중치 업데이트 없이도 문맥 속 예시만으로 학습하는 능력 (Few-shot learning)이 자연스럽게 획득한다.

이 논문의 진짜 질문

GPT-1은 사전 학습 후 미세 조정이라는 전략을 확립했다. 그렇다면 다음 질문은 자연스럽다.

"Fine-tuning 없이도 가능하지 않을까?"

이 논문은 바로 그 가능성을 실험한다.

핵심만 정리하면

기존 NLP는 작업마다 fine-tuning + 대규모 라벨 데이터가 필요했다.
GPT-3는 가설을 세운다: "모델을 충분히 크게 만들면, 가중치 업데이트 없이도 문맥 속 예시만으로 학습할 수 있다."
175B 파라미터 모델을 통해 이를 실험했다.
모델 규모가 커질수록 검증 손실은 멱법칙(power-law) 적으로 감소한다.
특히 Few-shot 성능이 폭발적으로 상승했다.
결론: 거대 언어 모델은 "학습하는 법"을 내부적으로 습득한다. Fine-tuning 없이도 새로운 작업을 수행할 수 있다.

기존 NLP의 한계: Fine-tuning 패러다임의 세 가지 문제

기존 흐름은 다음과 같았다.

대규모 말뭉치 사전 학습
작업별 fine-tuning

이 구조에는 세 가지 문제가 있었다.

데이터의 필요성: 특정 작업을 위해 수천에서 수 만개의 레이블링된 데이터셋이 필요하다.
일반화 성능의 의문: Fine-tuning된 모델은 학습 데이터의 좁은 분포 내에서는 잘 작동하지만, 그 범위를 벗어난 데이터에 대해서는 일반화 성능이 떨어지거나 데이터의 가짜 상관관계 (spurious correlations)를 학습할 위험이 크다.
인간과의 차이: 인간은 단 몇 개의 예시나 자연어 설명만으로도 새로운 언어 작업을 수행할 수 있지만, 기존 시스템은 이를 구현하는데 큰 어려움이 있다.

메타 학습 (Meta-learning)과 In-context Learning

저자는 이러한 한계를 극복할 대안으로 메타 학습 관점을 제시한다.

메타 학습이란, 모델이 사전 학습 단계에서 광범위한 기술과 패턴 인식 능력을 개발하고 추론 시에 이를 활용해 새로운 작업에 빠르게 적응하는 것이다.

In-context learning은 메타 학습의 내부 루프 (Inner loop)에 해당하며, pre-training된 모델에 자연어 지시사항이나 몇 개의 예시를 프롬프트로 주어 작업을 수행하게 만든다. 이 과정에서는 모델의 가중치 업데이트 (Gradient update)가 전혀 발생하지 않는다.

다만 저자들도 인정했듯이, In-context learning이 왜 작동하는지는 이 논문에서 완전히 설명되지 않았다. 모델이 문맥 속 예시로부터 실제로 "학습" 하는 것인지, 아니면 사전 학습된 능력을 "인출" 하는 것인지에 대한 논쟁은 이후 연구들의 핵심 주제가 되었다.

규모의 경제: 모델 크기 확장의 가설

이 논문의 핵심 가설은 **"언어 모델의 파라미터 규모를 키우면 In-context learning 능력이 비약적으로 향상될 것"**이다. GPT-2 (약 15억 개)에서 훨씬 더 나아간 1,750억 개의 파라미터를 가진 GPT-3를 학습시켰으며 이는 당시 가장 큰 비희소 (Non-sparse) 언어 모델이었던 Microsoft의 Turing-NLG (17B)보다도 10배 이상 큰 규모였다.

평가 조건

zeroshot_comparison — 생성형 인공지능이 생성한 이미지입니다.

저자는 GPT-3의 성능을 측정하기 위해 다음 4가지 시나리오를 정의했다.

Zero-shot (0S): 작업에 대한 자연어 설명만 제공한다. 가장 견고하고 편리한 방식이지만, 예시가 없으면 작업의 형식 (format)을 이해하기 어려울 수 있어 가장 도전적인 설정이다.
One-shot (1S): 설명과 함께 딱 하나의 예시를 보여준다.
Few-shot (FS): 모델의 컨텍스트 창 (보통 10~100개, nctx=2048)에 들어갈 수 있는 만큼의 예시를 제공한다. 가중치 업데이트는 없으며 모델은 입력된 예시의 패턴을 보고 정답을 예측한다.
Fine-Tuning: 수만 개의 레이블링된 데이터를 사용해 모델의 가중치를 직접 업데이트하는 전통적인 방식이다. 이번 연구에서는 이 방식을 사용하지 않고 가능성만 열어두었다.

모델 아키텍처

구조: GPT-2의 구조 (수정된 초기화, 사전 정규화 등) 계승하되, Sparse Transformer와 유사하게 교차 조밀 (alternating dense) 및 locally banded sparse attention 패턴을 적용했다. 모든 문장을 꼼꼼히 읽는 방식 (Dense)와 근처에 있는 중요한 단어들 위주로 훑어보는 방식 (Sparse)을 번갈아가며 사용한다.
규모: 모델 성능이 크기에 따라 어떻게 변화하는지 확인하기 위해 1억 2,500만 개부터 1,750억 개까지 총 8가지 크기의 모델을 훈련 시켰다.
설정: 모든 모델은 2048개의 토큰 컨텍스트 창을 사용하며 가중치 초기화와 하이퍼 파라미터는 계산 효율성을 고려해 설정했다.

훈련 데이터셋

약 1조 개의 단어에 달하는 방대한 데이터를 사용했다.

Common Crawl: 인터넷 저인망 데이터로 양은 많으나 품질이 낮아 고품질 문서와 유사성을 기준으로 필터링하고 중복을 제거 (fuzzy deduplication) 하여 사용했다.
고품질 소스 보강: 데이터의 다양성을 위해 WebText2, 두 종류의 도서 말뭉치 (Books1, Books2), 영문 위키피디아를 추가했다.
샘플링 전략: 데이터셋 크기 그대로 훈련하는 대신, 품질이 높다고 판단되는 데이터를 더 자주 샘플링하여 모델이 더 양질의 정보를 학습하도록 유도했다.

GPT-3 성능 분석: Few-shot이 Fine-tuning을 넘은 순간

규모의 경제 (Scaling Laws)

검증 결과: 모델의 파라미터 수와 계산량이 늘어날수록 검증 손실 (Validation Loss)이 **멱법칙 (Power-law)**에 따라 감소했다. 구체적으로 계산량을 10배 늘리면 손실이 약 0.05 감소하는 일관된 패턴을 보였다.
메타 학습의 발현: 모델이 커질수록 zero-shot, one-shot보다 Few-shot 성능이 훨씬 더 가파르게 상승했다.

주요 작업별 성능 요약

언어 모델링 및 문장 완성: LAMBADA 데이터셋에서 Few-shot 성능이 최고 기록 (SOTA)을 18%나 경신했다.
폐쇄형 질문 답변: TriviaQA에서 Few-shot 설정으로 **71.2%**를 기록해 fine-tuning을 거친 모델들보다 더 우수한 성능을 보여주었다.
SAT 유추: SAT의 단어 유추 문제에서 65.2%의 정확도를 기록하여 인간 응시자 평균 (57%)을 상회했다.
뉴스 기사 생성: 1,750억 개 파라미터 모델이 쓴 기사는 사람이 실제 기사와 구별할 확률이 52%에 불과했다.

GPT-3의 약점

자연어 추론 (NLI) 및 일부 독해에서 약점을 보였다. 두 문장의 관계를 비교하는 ANLI나 QuAC, WIC (단어 의미 비교) 같은 작업에서는 모델 규모를 키워도 여전히 인간이나 미세 조정 모델에 비해 큰 격차를 보이며 고전했다.

저자는 이러한 약점이 구조적 한계로 GPT-3가 단방향 (Autoregressive) 구조를 사용하기 때문일 수 있으며 양방향 (Bidirectional) 정보가 필요한 작업에서 불리할 수 있다고 분석했다.

사회적 영향

언어 모델의 오용

GPT-3는 fine-tuning 없이 몇 개의 예시나 지시만으로 새로운 작업을 수행할 수 있는데 이러한 범용성과 적응성은 악의적인 사용자에게도 강력한 도구가 된다.

진입 장벽의 완화: 기존에는 고품질의 가짜 뉴스나 피싱 문구를 만들려면 상당한 인적 자원이 필요했지만, 이제는 낮은 비용으로 대량의 설득력 있는 텍스트를 생성할 수 있게 된다.

공정성, 편향 및 대표성

GPT-3가 학습한 방대한 인터넷 데이터는 인류의 지식뿐만 아니라 사회적 편견과 고정관념도 고스란히 담고 있다.

학습 데이터에 존재하는 편향을 그대로 학습하여 출력한다. 예를 들어 '직업'과 '성별'을 연관 짓는 테스트에서 83%의 직업이 남성 식별자와 더 강하게 연결되었다.
특정 인종에 대해 일관되게 부정적이거나 긍정적인 감성 수치를 보이기도 한다.

GPT-3 논문의 의의: In-context Learning 시대의 개막

이 논문은 새로운 구조를 제안하지 않았다. 대신 하나의 가능성을 열었다. "Fine-tuning 없이도 학습할 수 있다." 이 문장은 이후 프롬프트 엔지니어링, In-context learning 연구, 그리고 GPT-4, GPT-5로 이어지는 확장의 출발점이 되었다.

GPT-3는 완전하지 않았다. 논리적 추론에서는 약점을 보였고, 편향과 오용의 문제도 드러냈다. 그럼에도 이 논문은 하나의 사실을 남겼다.

충분히 큰 모델은 예시만으로도 배울 수 있다.

이 질문 위에서 이후의 GPT-4, GPT-5 그리고 오늘날의 LLM 생태계가 확장되었다.

📌 namdarine's AI Review는 누구나 AI의 핵심 기술을 이해할 수 있도록 논문, 알고리즘, 구조를 쉽게 풀어주는 시리즈입니다.

Let's build it like it's already happened.
→ 다음 리뷰에서 만나요!