도구
한국어 AI 데이터를 위한 브라우저 도구
이 페이지들은 탭 안에서만 돌아갑니다. 붙여 넣은 글과 로컬 파일은 올리지 않습니다. 기어델은 데이터셋 파일도 보관하지 않습니다. 이미 가진 한국어 SFT 파일이면 아래 순서를 따릅니다.
가져오기
표와 JSONL을 오가며 한글 정규화를 맞춥니다.
CSV·TSV를 지시문 JSONL로
헤더 행의 열을 instruction·input·output에 맞춘 뒤, 한 행을 JSON 객체 한 줄로 씁니다. 원본 표는 기어델로 가지 않습니다.
JSONL을 CSV·TSV로 펼치기
한 줄의 JSON 객체를 표 한 행으로 씁니다. 최상위 키를 열로 두거나, Alpaca·대화의 첫 system/user/assistant만 칸에 넣습니다. 중첩 값은 JSON 문자열입니다. 원본은 이 탭을 떠나지 않습니다.
한글 NFC·NFD와 자모
같은 글자로 보여도 코드 포인트가 다를 수 있습니다. 이 페이지는 String.normalize 결과와 음절·조합형 자모·호환 자모 개수만 적습니다.
한국어 글자 수와 바이트
공백을 빼는 방식과 UTF-8·EUC-KR 바이트는 서로 다른 질문입니다. 한국어 ‘단어 수’는 띄어쓰기와 같지 않아 여기서 만들지 않습니다.
살펴보기
형식·필드·발췌·인용·한글 품질·토큰을 이 탭에서 확인합니다.
지시문 JSONL 검사와 변환
한 줄에 JSON 객체 하나. 형식이 다른 줄은 몇 번째인지와 이유를 적습니다. 변환은 이 탭에서만 일어나고, 원본 파일은 기어델로 가지 않습니다.
JSONL 필드 보기와 샘플 줄
최상위 키를 세고, 앞줄 또는 시드 해시로 n줄을 고릅니다. 검사·변환은 하지 않습니다. 원본 줄은 기어델로 가지 않습니다.
카탈로그에 있는 샘플만 열어 보기
각 행에 저장된 발췌만 보여 줍니다. 개수는 samples 배열 길이입니다. 원본 아카이브는 기어델에 없고, 품질 검사는 그 발췌에만 걸립니다.
카탈로그 칸으로 인용문 만들기
제목, 연도, 제공처, 원본 URL, 라이선스 표기, 상업 이용 표기, 확인일만 붙입니다. 저자 목록은 카탈로그에 없어 BibTeX author도 넣지 않습니다.
한국어 학습 데이터의 깨짐과 존댓말 혼용
붙여 넣은 글 또는 JSONL 문자열에서 치환 문자, 조합형·호환 자모, NFC가 아닌 한글, 제로폭, 라틴1로 읽힌 UTF-8, 응답의 합니다체·해요체·반말 혼용을 셉니다. 원본은 이 탭을 떠나지 않습니다.
한국어 텍스트 토큰 수
js-tiktoken 순위로 encode합니다. o200k_base는 GPT-4o·GPT-4.1·o1·o3·o4-mini·GPT-5, cl100k_base는 GPT-3.5-turbo·GPT-4·GPT-4-turbo입니다. GPT-6 순위는 이 라이브러리에 없습니다.
지우기
개인정보 패턴, 중복, 너무 긴 줄을 버립니다.
한국어 전화·주민번호·이메일 가리기
붙여 넣은 글 또는 JSONL 문자열에서 한국 전화번호, 주민등록번호 13자리 패턴, 이메일을 찾아 토큰이나 부분 가림으로 바꿉니다. 원본은 이 탭을 떠나지 않습니다.
JSONL 중복 줄 버리기
같은 프롬프트나 같은 JSON 객체를 한 그룹으로 묶고, 첫 줄 또는 JSON.stringify가 더 긴 줄만 남깁니다. 원본 줄은 기어델로 가지 않습니다.
JSONL을 토큰 길이로 거르기
프롬프트, 프롬프트+응답, 또는 JSON 줄 전체를 js-tiktoken o200k/cl100k로 encode한 뒤 min/max 구간에 남는 줄만 둡니다. Llama·Gemma·GPT-6 어휘가 아닙니다.
나누기·평가
시드로 나누고 평가 문장과 겹치는지 봅니다.
JSONL을 train·val·test로 나누기
시드와 FNV-1a로 0–9999 구간에 넣습니다. 같은 instruction이나 첫 user 턴은 한 분할에만 갑니다. 원본 줄은 기어델로 가지 않습니다.
학습 JSONL과 평가 문장이 겹치는지
학습 JSONL의 프롬프트 키와 평가 줄(평문 또는 JSONL)을 NFC·공백 접기 뒤 같은 문자열로 찾습니다. 공개 벤치마크 오염률은 만들지 않습니다.
학습 껍데기
공개된 채팅 문자열을 붙인 뒤 토큰을 셉니다.
채팅 껍데기를 붙이고 토큰 세기
메시지 JSON에 공개된 ChatML·Llama 3·Gemma·Qwen 문자열을 붙입니다. 토큰 수는 그 문자열을 o200k 또는 cl100k로 encode한 값입니다. GPT-6 순위는 없습니다.