"이번 주 토큰이 벌써 다 닳았네요." AI 이야기가 오가는 대화방에서 이런 말을 한 번쯤 보셨을 것입니다. 토큰이라고 하니 게임 코인이나 가상화폐가 먼저 떠오르기도 합니다. 하지만 AI에서 말하는 토큰은 전혀 다른 뜻입니다. 오늘은 AI 토큰의 뜻과, 왜 AI 사용량을 토큰으로 세는지 정리해 드리겠습니다.
AI에서 말하는 토큰은 무엇일까요?
토큰(token)은 AI가 글을 읽고 쓸 때 사용하는 기본 글 조각입니다. AI는 문장을 통째로 읽지 않고, 먼저 토큰으로 잘라서 처리합니다. 그래서 AI 회사들은 개발자용 서비스의 요금을 글자 수가 아니라 토큰 수로 계산합니다.
토큰 하나는 단어 하나일 수도 있고, 단어의 일부나 문장부호 하나일 수도 있습니다. 엔비디아의 설명에 따르면 영어 단어 "darkness"는 "dark"와 "ness" 두 토큰으로 나뉩니다. "brightness"도 "bright"와 "ness"로 나뉩니다. 같은 "ness" 조각을 함께 쓰기 때문에 AI는 두 단어가 비슷한 성격이라는 점을 파악하기 쉬워집니다.
문장은 어떻게 토큰으로 쪼개질까요?
문장을 토큰으로 나누는 작업을 토큰화라고 부릅니다. 긴 문장을 레고 조각처럼 잘게 나누는 과정이라고 생각하면 쉽습니다. 나뉜 조각에는 각각 번호가 붙어 숫자로 바뀝니다. 컴퓨터는 결국 숫자만 계산할 수 있기 때문입니다.
오픈AI는 영어 기준으로 토큰 1개가 대략 4글자, 100토큰이 대략 75단어라고 안내합니다. 다만 이것은 영어에 맞춘 어림값입니다. 오픈AI도 다른 언어는 글자와 토큰의 관계가 다르다고 설명합니다. 그래서 한국어 글에 이 비율을 그대로 적용하기는 어렵습니다.
같은 문장이라도 AI 모델마다 토큰 수가 달라질 수 있습니다. 앤트로픽은 공식 요금 문서에서, 새 모델에 쓰는 토큰화 방식이 같은 글에서 이전보다 더 많은 토큰을 만든다고 밝히고 있습니다. 토큰은 모든 AI가 똑같이 쓰는 표준 단위가 아니라, 모델마다 자르는 방식이 다른 조각인 셈입니다.
토큰은 왜 생각보다 빨리 닳을까요?
토큰은 내가 보낸 질문에서도, AI가 쓴 답에서도 함께 세어집니다. 질문 쪽을 입력 토큰, 답 쪽을 출력 토큰이라고 부릅니다. 택시 미터기가 거리와 시간을 함께 세는 것처럼, 토큰도 들어간 양과 나온 양을 모두 셉니다.
| 구분 | 입력 토큰 | 출력 토큰 |
|---|---|---|
| 포함되는 것 | 내 질문, 첨부 문서, 앞선 대화 | AI가 쓴 답, AI가 속으로 생각한 과정 |
| 처리 방식 | 한꺼번에 읽음 | 한 개씩 차례로 만듦 |
| 공식 요금표 기준 | 상대적으로 저렴 | 상대적으로 비쌈 |
토큰이 빨리 닳는 첫 번째 이유는 앞선 대화입니다. 대화를 길게 이어 가면 AI는 흐름을 놓치지 않으려고 이전 내용을 다시 함께 읽습니다. 그래서 질문 한 줄을 보내도 실제로 세어지는 토큰은 훨씬 많아집니다.
두 번째 이유는 보이지 않는 생각 과정입니다. 요즘 AI는 답을 쓰기 전에 속으로 먼저 따져 보는 단계를 거치기도 하는데, 이것을 추론이라고 부릅니다. 오픈AI는 이 추론에 쓰인 토큰도 출력 토큰으로 계산한다고 안내합니다.
화면에 보이는 답이 짧아도, 보이지 않는 곳에서 토큰이 쓰이고 있는 것입니다. 대화방에서 "토큰이 순식간에 닳는다"는 말이 나오는 이유가 여기에 있습니다.
토큰은 반도체와 어떻게 이어질까요?
토큰 하나하나는 데이터센터의 GPU가 계산해서 만든 결과물입니다. 엔비디아는 토큰을 "AI의 언어이자 화폐"라고 부릅니다. 토큰을 많이 쓸수록 GPU가 그만큼 더 일한다는 뜻입니다.
답을 만들 때는 토큰 하나를 만들 때마다 모델의 데이터를 메모리에서 불러와야 합니다. 엔비디아는 이 단계의 속도를 계산 능력보다 메모리 전송 속도가 좌우한다고 설명합니다. AI용 GPU 바로 옆에 HBM 같은 빠른 메모리가 붙는 이유입니다.
토큰은 AI가 글을 다루는 조각이자, 반도체가 일한 양을 세는 단위입니다. 다음 글에서는 이 이야기를 이어서, AI 구독에는 왜 사용량 한도가 있는지 알아보겠습니다.
이 글은 일반적인 정보 전달을 목적으로 작성되었으며, 특정 기업이나 종목·서비스에 대한 투자·구매 권유가 아닙니다.
함께 보면 좋은 글
'AI 따라가기' 카테고리의 다른 글
| AI 추론 레벨이란? 생각 강도 low·medium·high의 차이 (0) | 2026.11.01 |
|---|---|
| AI 사용량 한도는 왜 있을까? 구독해도 막히는 이유와 GPU 비용 (0) | 2026.10.16 |
| AI 데이터센터 반도체가 이끄는 AI 반도체 수요 증가 구조 (0) | 2026.10.05 |
| ChatGPT에 질문하면 그 뒤에서는 무슨 일이 벌어질까? (0) | 2026.10.04 |
| GPU는 왜 데이터를 빠르게 처리할까? 인공지능 발전의 핵심 반도체 (0) | 2026.09.12 |