도구
한국어 텍스트 토큰 수
입력한 문자열을 js-tiktoken이 공개한 BPE 순위로 encode합니다. 채팅 템플릿을 붙이지 않고, 보이는 그대로의 토큰 수만 적습니다.
입력은 이 탭에만 있습니다. 토크나이저 파일은 이 사이트에서 받아 브라우저에서 실행합니다. 기어델 서버로 붙여 넣은 문장은 가지 않습니다.
어떻게 세는가
이 페이지는 js-tiktoken과 BPE 순위 파일 하나(cl100k_base 또는 o200k_base)를 필요할 때 받습니다. 다른 기어델 페이지는 그 파일을 받지 않습니다.
cl100k_base는 js-tiktoken이 GPT-3.5-turbo와 GPT-4(4o 제외)에 연결하는 인코딩입니다. o200k_base는 GPT-4o와, 같은 인코딩을 쓰는 이후 OpenAI 이름에 연결됩니다.
상자 안의 문자열을 그대로 encode합니다. <|im_start|> 같은 채팅 껍데기는 붙이지 않습니다. 특수 토큰 문자열도 직접 치지 않으면 일반 글자로 쪼갭니다.
한글 대비 토큰 비율은 그 encode 결과에서 나옵니다. 한국어 공식을 정해 두지 않았습니다.
하지 않는 일
- Claude, Gemini, Llama, 한국어 전용 토크나이저는 없습니다. 숫자가 다릅니다.
- 달러 비용을 추정하지 않습니다. 과금은 제공처·모델·요청 껍데기에 따라 달라 여기서 세지 않습니다.
- 탭이 멈추지 않게 코드 포인트 200,000개에서 자릅니다. 더 긴 글은 나눠 넣습니다.