도구
학습 JSONL과 평가 문장이 겹치는지
학습 JSONL의 프롬프트 키와 평가 줄(평문 또는 JSONL)을 NFC·공백 접기 뒤 같은 문자열로 찾습니다. 공개 벤치마크 오염률은 만들지 않습니다.
비교는 이 탭에서만 합니다. 학습·평가 글은 기어델로 가지 않고, KMMLU·KoBEST 파일도 보관하지 않습니다.
겹침으로 보는 것
학습 줄은 JSONL 객체여야 합니다. 비교 키는 Alpaca instruction과 input, 첫 user/human 턴, 없으면 question·query·prompt·text·input입니다.
평가는 그 모양의 JSONL이거나, 한 줄에 프롬프트 하나입니다. { 로 시작하면 JSON으로 읽고, 아니면 줄 전체가 키입니다.
NFC와 공백 접기는 중복 제거 페이지와 같습니다. 완전 일치는 접은 키가 같은 경우입니다. 부분 문자열은 평가 키가 24코드 포인트 이상이고 학습 키 안에 들어 있을 때만입니다.
목록은 평가 줄 번호와 맞은 학습 줄 번호입니다. overlapping-train.jsonl은 맞은 학습 객체, clean-train.jsonl은 나머지 파싱된 학습 줄입니다.
한쪽당 2만 줄, 또는 약 200만 글자까지입니다. 맨 앞이 JSON 배열이면 거절합니다.
하지 않는 일
- KMMLU, KoBEST, KLUE를 받지 않습니다. 이미 가진 문항을 붙여 넣습니다. 카탈로그 가족 행 수는 평가/학습 가이드에 있습니다.
- n-gram 겹침, BLEU, 데이터셋 전체 오염률은 만들지 않습니다.
- 부분 문자열 모드는 긴 구를 공유하는 다른 문장도 맞출 수 있습니다. 완전 일치는 그렇지 않습니다.