도구
한글 비율과 문자종 혼입
붙여 넣은 글 또는 JSONL 문자열에서 한글·한자·히라가나·가타카나·라틴·키릴·그리스 코드 포인트를 셉니다. 비율은 그 글자 종류의 합이 분모입니다. 언어 ID가 아닙니다. 원본은 이 탭을 떠나지 않습니다.
문자종 세기는 이 탭에서만 합니다. 붙여 넣은 글을 올리지 않습니다.
무엇을 세는가
코드 포인트는 한글(음절·자모·호환 자모), 한자(BMP CJK), 히라가나, 가타카나(반각 포함), 라틴(전각 A–Z 포함), 키릴, 그리스 중 하나에만 넣습니다. 숫자·문장부호·이모지는 분모에 없습니다.
한글 비율은 한글 수 ÷ 글자 종류 수입니다. 비율이 없으면 그 줄에 글자 종류가 없는 것입니다. 기본 30%는 폼 값이지, 공개된 한국어 데이터 기준이 아닙니다.
혼동 문자는 라틴과 닮은 키릴·그리스 글자의 고정 목록입니다. Hangul Filler(U+3164와 자모 채움)와 전각 라틴은 따로 셉니다. 어느 것도 언어 이름이 아닙니다.
JSONL 모드는 그 줄의 문자열 칸을 이어 붙인 뒤 객체 전체를 남기거나 버립니다. kept.jsonl과 dropped.jsonl은 이 탭에서 만듭니다.
하지 않는 일
- 언어 식별이 아닙니다. 한글로 쓴 영어, 라틴 글자로 쓴 한국어는 뜻 대신 문자종으로만 셉니다.
- BMP 밖의 한자와 일곱 칸 밖의 문자는 비율에 넣지 않습니다. 짐작하지 않습니다.
- 남김/버림은 품질 점수가 아닙니다. 한 번에 2만 줄, 또는 약 200만 글자까지입니다.