도구

한국어 텍스트 토큰 수

js-tiktoken 순위로 encode합니다. o200k_base는 GPT-4o·GPT-4.1·o1·o3·o4-mini·GPT-5, cl100k_base는 GPT-3.5-turbo·GPT-4·GPT-4-turbo입니다. GPT-6 순위는 이 라이브러리에 없습니다.

입력은 이 탭에만 있습니다. 토크나이저 파일은 이 사이트에서 받아 브라우저에서 실행합니다. 기어델 서버로 붙여 넣은 문장은 가지 않습니다.

어떻게 세는가

이 페이지는 js-tiktoken과 BPE 순위 파일 하나(o200k_base 또는 cl100k_base)를 필요할 때 받습니다. 다른 기어델 페이지는 그 파일을 받지 않습니다.

o200k_base는 js-tiktoken getEncodingNameForModel이 GPT-4o, GPT-4.1, o1, o3, o4-mini, GPT-5에 돌려 주는 인코딩입니다. cl100k_base는 GPT-3.5-turbo, GPT-4, GPT-4-turbo입니다.

상자 안의 문자열을 그대로 encode합니다. <|im_start|> 같은 채팅 껍데기는 붙이지 않습니다. 특수 토큰 문자열도 직접 치지 않으면 일반 글자로 쪼갭니다.

한글 대비 토큰 비율은 그 encode 결과에서 나옵니다. 한국어 공식을 정해 두지 않았습니다.

하지 않는 일

GPT-6은 js-tiktoken 모델 표에 없습니다. Claude, Gemini, Llama, Gemma, Qwen, 한국어 전용 토크나이저도 없습니다. 숫자가 달라서 여기서 짐작하지 않습니다.
달러 비용을 추정하지 않습니다. 과금은 제공처·모델·요청 껍데기에 따라 달라 여기서 세지 않습니다.
탭이 멈추지 않게 코드 포인트 200,000개에서 자릅니다. 더 긴 글은 나눠 넣습니다.

텍스트 붙여 넣기

js-tiktoken getEncodingNameForModel이 o200k_base로 두는 이름: GPT-4o, GPT-4.1, o1, o3, o4-mini, GPT-5. 채팅 껍데기는 붙이지 않습니다. gpt-4o · gpt-4.1 · o1 · o3 · o4-mini · gpt-5

GPT-6, Claude, Gemini, Llama, Gemma, Qwen 어휘는 js-tiktoken 순위 파일이 없어 세지 않습니다. 근사치도 만들지 않습니다.

글 (이 탭에만 있습니다)

토큰

—

코드 포인트

한글 음절

토큰 / 코드 포인트 100

—

토큰/코드 포인트 100은 지금 붙여 넣은 결과입니다. 한국어 평균이 아닙니다.

자주 나오는 질문

한국어가 영어보다 토큰이 많나요?

같은 글자 수라면 encode()가 한글을 더 잘게 나누는 경우가 많습니다. 비율은 지금 붙여 넣은 결과이고, 공개된 평균이 아닙니다.

GPT-4와 GPT-5 숫자가 다른 이유는?

js-tiktoken에서 GPT-4(및 GPT-4-turbo)는 cl100k_base, GPT-5(및 GPT-4o, GPT-4.1, o1, o3, o4-mini)는 o200k_base입니다. 같은 글을 버튼만 바꿔 두 번 셉니다. GPT-6 순위 파일은 여기 없습니다.

OpenAI API와 같나요?

표에 있는 이름은 공개된 순위를 js-tiktoken으로 씁니다. 채팅 템플릿이나 HTTP 껍데기는 더하지 않습니다. 클라이언트가 메시지를 감싸면 감싼 뒤 붙여 넣습니다.