💡 앞서 배운 개념(파라미터, 컨텍스트 등)을 바탕으로 LLM이 실제로 어떻게 작동하는지 단계별로 정리합니다.
전체 흐름 한눈에 보기
질문 입력
↓
단어 → 숫자 변환 (토크나이저)
↓
단어마다 5120개 숫자 벡터 변환 (임베딩)
↓
단어끼리 비슷도 계산 (Attention)
↓
패턴 매칭 (FFN)
↓
위 두 단계 64번 반복 (레이어)
↓
다음 단어 확률 계산
↓
단어 하나씩 생성 반복
↓
최종 답변 완성
1단계 — 단어를 숫자로 변환
토크나이저 (Tokenizer)
질문 문장을 숫자로 변환하는 도구입니다.
"강남역 근처 맛집 가자"
↓
[15234, 8821, 3401, 9912]
임베딩 (Embedding)
각 토큰을 수천 개의 숫자 묶음(벡터)으로 변환합니다.
"강남역" → [0.92, -0.34, 0.71, 0.05 ... × 5120개]
"맛집" → [0.45, 0.73, 0.12, 0.88 ... × 5120개]
왜 5120개?
단어 하나의 모든 특성(의미, 품사, 감정, 연관어 등)을 담으려면 숫자가 많이 필요합니다. 픽셀 1개로 사진을 못 만들듯, 숫자 1개로 단어 의미를 담을 수 없습니다.
| 모델 | 벡터 크기 |
| --- | --- |
| Solar 10.7B | 4,096 |
| Gemma4 31B | 4,608 |
| Qwen 32B | 5,120 |
💡 ⚠️ 이 숫자들이 무엇을 의미하는지는 아무도 모릅니다. 학습이 찾아낸 최적값일 뿐입니다. 이걸 연구하는 분야가 XAI(설명 가능한 AI)입니다.
💡
2단계 — 단어끼리 비슷도 계산 (Attention)
LLM이 문맥을 이해하는 핵심 원리입니다.
작동 방식
"강남역 근처 지하철 타고 맛집 가자"
강남역 근처 지하철 타고 맛집 가자
강남역 [ - 0.7 0.9 0.2 0.8 0.1 ]
근처 [ 0.7 - 0.6 0.4 0.7 0.3 ]
지하철 [ 0.9 0.6 - 0.5 0.6 0.1 ]
타고 [ 0.2 0.4 0.5 - 0.3 0.8 ]
맛집 [ 0.8 0.7 0.6 0.3 - 0.5 ]
가자 [ 0.1 0.3 0.1 0.8 0.5 - ]
비슷도 = 영향력
비슷도 높음 → 영향력 크게 반영
비슷도 낮음 → 영향력 작게 반영
"타고" 비슷도 낮음 → 제거? ❌
→ 영향력 0.2로 줄임 ✅
💡 단어를 제거하는 게 아니라 영향력을 조절합니다. 모든 단어가 최종 답변에 기여합니다.
💡
결과
처음 "강남역": [0.92, -0.34 ...]
↓ 맛집, 지하철과 연결됨
업데이트 후: [0.95, -0.28 ...]
→ "맛집 근처 지하철역" 의미로 변화
3단계 — 패턴 매칭 (FFN)
Attention으로 파악한 관계를 학습된 패턴과 비교합니다.
"강남역 + 지하철 + 맛집" 패턴
↓
학습 데이터에서 비슷한 패턴 검색
↓
"맛집 추천 요청" 으로 정의
4단계 — 레이어 반복
레이어란?
같은 문장을 여러 번 읽으며 갈수록 더 깊이 이해하는 과정입니다.
레이어 1~10: "강남역 = 명사, 장소"
레이어 11~40: "맛집 찾는 질문이구나"
레이어 41~64: "지하철로 갈 수 있는 강남역 근처 맛집 추천"
레이어 수는 모델마다 고정
| 모델 | 레이어 수 |
| --- | --- |
| Solar 10.7B | 32개 |
| Gemma4 31B | 46개 |
| Qwen 32B | 64개 |
무조건 전부 통과
"안녕" (짧은 질문) → 64번 전부 통과
"긴 질문..." (긴 질문) → 64번 전부 통과
질문 길이 상관없이 무조건 고정 횟수
Early Exit (연구 중)
레이어 중간에 이미 파악됐으면 멈추는 기술. 현재 연구 중이며 아직 상용화 안됨.
레이어 10번 후: "이미 이해했나?" → Yes면 멈춤
현재: 아직 무조건 64번 전부 통과
5단계 — 단어 하나씩 생성
다음 단어 확률 계산
"강남역 근처 맛집으로는 ___?"
이자카야 35%
한식당 28%
카페 15%
...
↓
가장 높은 확률 "이자카야" 선택
반복 생성
1번째: "강남역 근처 맛집으로는 ___?"
→ 이자카야
2번째: "강남역 근처 맛집으로는 이자카야 ___?"
→ 추천
3번째: "강남역 근처 맛집으로는 이자카야 추천 ___?"
→ 드릴게요
4번째: "강남역 근처 맛집으로는 이자카야 추천 드릴게요 ___?"
→ . (마침표) → 종료
💡 매 단어마다 “원래 질문 + 지금까지 생성된 단어 전체”를 다시 참고합니다.
LLM 답변이 글자씩 나오는 이유
한 번에 전체 답변이 나오는 게 아니라
단어(토큰) 하나씩 순서대로 생성
↓
그래서 스트리밍으로 글자가 하나씩 보임
핵심 개념 요약
| 개념 | 쉬운 설명 |
| --- | --- |
| 임베딩 | 단어를 수천 개 숫자로 표현 |
| Attention | 단어끼리 비슷도 계산, 영향력 조절 |
| 비슷도 | 5120개 숫자가 얼마나 비슷한가 |
| FFN | 패턴 매칭, 의미 정제 |
| 레이어 | Attention+FFN을 N번 반복 |
| Early Exit | 중간에 이해되면 멈추는 기술 (연구중) |
| 토큰 생성 | 다음 단어를 확률로 계산해 하나씩 출력 |
| XAI | 숫자가 왜 그 값인지 설명하려는 연구 |
💡 📝 작성일: 2026년 5월 13일
💡
💡 이 문서는 Claude와의 대화를 바탕으로 정리되었습니다.