도구
JSONL을 토큰 길이로 거르기
프롬프트, 프롬프트+응답, 또는 JSON 줄 전체를 js-tiktoken o200k/cl100k로 encode한 뒤 min/max 구간에 남는 줄만 둡니다. Llama·Gemma·GPT-6 어휘가 아닙니다.
encode는 이 탭에서만 합니다. 토크나이저 순위 파일은 이 사이트에서 받아 브라우저에서 실행합니다. JSONL은 기어델로 가지 않습니다.
무엇을 세는가
프롬프트는 Alpaca instruction과 input, 또는 첫 user/human 턴입니다. 샘플은 그 프롬프트에 Alpaca output 또는 assistant/gpt 턴을 빈 줄로 이어 붙입니다. JSON은 객체의 JSON.stringify입니다.
encode()는 토큰 수 페이지와 같은 js-tiktoken o200k_base 또는 cl100k_base입니다. <|im_start|> 같은 채팅 껍데기는 여기서 붙이지 않습니다. GPT-6 순위는 없습니다.
min과 max는 그 문자열을 encode한 토큰 수의 닫힌 구간입니다. 0–4096은 기본 구간일 뿐, 모델 컨텍스트 길이가 아닙니다.
필드를 못 꺼낸 줄은 세고 건너뜁니다. encode하는 문자열은 토큰 수 페이지와 같이 코드 포인트 200,000개에서 자릅니다.
빈 줄은 세고 건너뜁니다. 맨 앞이 JSON 배열이면 거절합니다. 한 번에 2만 줄, 또는 약 200만 글자까지입니다.
하지 않는 일
- Llama, Gemma, Claude, Gemini, 한국어 SentencePiece는 없습니다. 숫자가 다릅니다.
- 세기 전에 ChatML이나 Llama 3 헤더를 붙이지 않습니다. 그 문자열이 필요하면 채팅 껍데기 페이지를 씁니다.
- GPU 메모리나 달러 비용을 추정하지 않습니다.