도구
한국어 학습 데이터의 깨짐과 존댓말 혼용
붙여 넣은 글 또는 JSONL 문자열에서 치환 문자, 조합형·호환 자모, NFC가 아닌 한글, 제로폭, 라틴1로 읽힌 UTF-8, 응답의 합니다체·해요체·반말 혼용을 셉니다. 원본은 이 탭을 떠나지 않습니다.
검사는 이 탭에서만 합니다. 붙여 넣은 글은 기어델로 가지 않습니다. 복원 미리보기도 이 탭에만 있습니다.
무엇을 세는가
U+FFFD, 한글 조합형 자모(U+1100–11FF와 확장 블록), 호환 자모(U+3130–318F), 반각 한글(U+FFA0–FFDC)은 코드 포인트로 셉니다.
String.normalize('NFC')와 다른 문자열은 표시합니다. 조합형 자모가 혼자 있으면 NFD이거나 음절이 깨진 경우가 많습니다.
제로폭·양방향 표시(U+200B, U+FEFF 포함)와 탭·줄바꿈·CR이 아닌 C0 제어 문자를 셉니다. 화면에서는 잘 안 보입니다.
모든 코드 유닛이 0–255이고 그 바이트가 한글로 열리는 유효한 UTF-8이면 복원 미리보기를 보여 줍니다. 라틴1로 잘못 읽힌 경우에 대한 휴리스틱이지, 파일 이력을 단정하지 않습니다. EUC-KR 역변환은 시도하지 않습니다.
JSONL 모드는 문자열 필드를 걷습니다. 합니다체·해요체·반말은 Alpaca output 또는 assistant/gpt 턴에만 붙입니다. 그 응답에 두 가지 종결이 있으면 혼용입니다. 문장 나눔은 구두점과 줄바꿈입니다. 모든 한국어 종결을 파싱하지 않습니다.
하지 않는 일
- 데이터 품질 점수, 오염률, 개인정보보호법 판단을 만들지 않습니다. 개수는 패턴 적중이지 등급이 아닙니다.
- 형태소 분석기가 아닙니다. 짧은 답과 인용문은 혼용처럼 보이거나 종결을 놓칠 수 있습니다.
- 복원 글은 미리보기입니다. CP949·EUC-KR·이중 인코딩을 손실 없이 고친 결과가 아닙니다.
- JSONL은 2만 줄, 또는 약 200만 글자까지입니다.