도구
채팅 껍데기를 붙이고 토큰 세기
메시지 JSON에 공개된 ChatML·Llama 3·Gemma·Qwen 문자열을 붙입니다. 토큰 수는 그 문자열을 o200k 또는 cl100k로 encode한 값입니다. GPT-6 순위는 없습니다.
껍데기와 encode()는 이 탭에서만 합니다. 토크나이저 순위 파일은 이 사이트에서 받아 브라우저에서 실행합니다. 붙여 넣은 글은 기어델로 가지 않습니다.
무엇을 붙이는가
상자는 OpenAI messages, messages 배열, ShareGPT conversations, Alpaca instruction/output, 또는 user 한 문장으로 읽습니다. JSONL을 넣으면 첫 JSON만 감쌉니다.
ChatML과 Qwen은 공개된 <|im_start|>role / <|im_end|> 줄입니다. Qwen 기본 시스템 문구는 여기서 넣지 않습니다.
Llama 3는 instruct 카드에 흔히 적힌 <|begin_of_text|>, <|start_header_id|>role<|end_header_id|>, <|eot_id|>입니다.
Gemma IT는 <bos>, <start_of_turn>user|model, <end_of_turn>입니다. system은 첫 user 앞에 붙고, assistant는 model로 씁니다.
생성 접두 칸은 답이 없는 다음 턴 헤더만 붙입니다. 토큰 수는 이어 붙인 문자열을 토큰 수 페이지와 같은 o200k_base 또는 cl100k_base로 encode한 값입니다. Llama·Gemma·GPT-6 어휘가 아닙니다.
하지 않는 일
- <|im_start|>나 Llama 특수 토큰을 tiktoken에 등록하지 않습니다. encode()가 그 문자열을 쪼갤 수 있습니다. 모델 토크나이저는 ID 하나로 줄 수 있습니다.
- Claude, Gemini, 한국어 전용 SentencePiece는 없습니다.
- tool 호출, 이미지 파트, Hugging Face apply_chat_template Jinja는 다루지 않습니다.
- encode는 감싼 문자열 코드 포인트 200,000개에서 자릅니다.