도구로 건너뛰기

도구

한국어 글자 수와 바이트

공백을 빼는 방식과 UTF-8·EUC-KR 바이트는 서로 다른 질문입니다. 한국어 ‘단어 수’는 띄어쓰기와 같지 않아 여기서 만들지 않습니다.

숫자는 브라우저에서 나옵니다. EUC-KR 색인은 이 페이지에서만 받습니다. 붙여 넣은 글은 기어델로 가지 않습니다.

각 숫자가 뜻하는 것

코드 포인트: JavaScript 문자열 이터레이터입니다. 한글 음절 하나, 보조 평면 문자 하나도 1입니다.

공백 제외: 유니코드 공백이 아닌 코드 포인트입니다.

그래핌: 브라우저에 Intl.Segmenter가 있으면 셉니다. 결합 문자 때문에 코드 포인트와 달라질 수 있습니다. Segmenter가 없으면 칸을 비웁니다.

줄 수: CR, LF, CRLF로 나눕니다. 빈 상자는 0줄입니다.

UTF-8 바이트: TextEncoder입니다.

EUC-KR 바이트: WHATWG euc-kr 색인입니다. 웹의 euc-kr은 windows-949와 같습니다. ASCII는 1바이트, 표에 있는 한글·한자는 2바이트입니다. 이모지처럼 표에 없는 코드 포인트는 따로 세고 바이트를 짐작하지 않습니다.

공백으로 나눈 칸: trim 뒤 유니코드 공백으로 나눕니다. 한국어 어절 수가 아닙니다.

하지 않는 일

  • 언어학적인 단어 수는 만들지 않습니다. 한국어 띄어쓰기는 토크나이저가 아닙니다.
  • EUC-JP, Shift_JIS, GBK는 없습니다.
  • 코드 포인트 200,000개에서 자릅니다.

텍스트 붙여 넣기

코드 포인트
0
유니코드 공백 제외
0
그래핌
0
줄
0
UTF-8 바이트
0
EUC-KR 바이트
…
한글 음절
0
공백으로 나눈 칸
0
EUC-KR 표에 없음
—

자주 나오는 질문

UTF-8이 글자 수보다 큰 이유는?

한글 음절은 UTF-8에서 3바이트입니다. ASCII는 1바이트입니다. 바이트 칸은 TextEncoder이지 글자 수가 아닙니다.

EUC-KR이 이모지를 거부하는 이유는?

색인에 그 코드 포인트의 포인터가 없습니다. 길이를 지어 내지 않고, 넣지 못한 문자 수만 적습니다.

워드 글자 수와 같나요?

같지 않습니다. 워드는 공백·줄 규칙이 다릅니다. 이 페이지는 위의 이터레이터만 씁니다.

기어델에서 이어서

과제로 데이터셋 고르기 →

한국어 지시문·학습 모음 →

Alpaca·ShareGPT·messages →

평가셋과 학습 데이터 →

브라우저 도구 모음 →