평가와 학습
한국어 평가셋과 학습 데이터, 카탈로그에서 나누기
기어델 카탈로그는 286개 행입니다. LLM 벤치마크 모음은 47개, LLM 학습 모음은 63개입니다. 두 필터는 겹치지 않습니다. 평가용 행은 학습 모음에 넣지 않습니다.
모델 점수, 다운로드 수, 순위는 없습니다. 라이선스와 상업 이용 칸은 저장된 표기입니다. 학습하거나 제품에 넣기 전에 원본 약관을 읽습니다.
- KLUE
- 7
- KoBEST
- 5
- KMMLU
- 2
슬러그 가족
슬러그 가족
슬러그 가족
세 가족 합계 14개. 같은 벤치마크 모음에 가족이 아닌 행이 33개 더 있습니다 (HAE-RAE, CLIcK 등 카탈로그 필터).
KLUE (7)
슬러그가 klue 이거나 klue- 로 시작하는 카탈로그 행입니다. 원본이 몇 과제인지는 각 행의 규모 표기를 따릅니다.
| 이름 | 라이선스 | 상업 이용 | 제공처 | 규모 표기 |
|---|---|---|---|---|
| KLUE Benchmark | CC BY-SA 4.0 | 조건부 가능 | Hugging Face | 8개 과제 · 62.3 MB |
| KLUE 연합뉴스 기사 제목 분류 데이터셋 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 12K 헤드라인 · 소용량 |
| KLUE 한국어 자연어 추론 데이터셋 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 25K 문장쌍 · 소용량 |
| KLUE 한국어 유사도 측정 데이터셋 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 11K 문장쌍 · 소용량 |
| KLUE 한국어 개체명 인식 데이터셋 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 21K 문장 · 중용량 |
| KLUE 한국어 관계 추출 데이터셋 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 32K 문장 · 소용량 |
| KLUE 한국어 기계독해 벤치마크 | CC BY-SA 4.0 | 가능 | Hugging Face (KLUE) | 29K 문항 · 중용량 |
KoBEST (5)
슬러그가 kobest 이거나 kobest- 로 시작하는 행입니다. 한 페이지에 묶인 표기와 과제별 행이 함께 있을 수 있습니다.
| 이름 | 라이선스 | 상업 이용 | 제공처 | 규모 표기 |
|---|---|---|---|---|
| KoBEST | CC BY-SA 4.0 | 가능 | Hugging Face | 4.8K 문항 · 5.1MB |
| KoBEST 언어추론 벤치마크 (COPA) | CC BY-SA 4.0 | 가능 | Hugging Face (SKT-brain) | 1K 인과관계 문항 · 소용량 |
| KoBEST 상황 지속성 추론 (HellaSwag) | CC BY-SA 4.0 | 가능 | Hugging Face (SKT-brain) | 2.5K 정합 시나리오 · 소용량 |
| KoBEST 단단문 참거짓 판정 (BoolQ) | CC BY-SA 4.0 | 가능 | Hugging Face (SKT-brain) | 1.4K 이진독해 문항 · 소용량 |
| KoBEST 문맥상 어휘 다의어 추론 (WiC) | CC BY-SA 4.0 | 가능 | Hugging Face (SKT-brain) | 3K 다의어 판단 문항 · 소용량 |
KMMLU (2)
슬러그가 kmmlu 또는 kmmlu-pro 인 행만 넣습니다. ko-mmlu-pro 는 다른 행입니다.
Ko-MMLU-Pro
위의 KMMLU 가족 개수에 넣지 않은 별도 슬러그입니다. 라이선스와 제공처는 카드를 엽니다.
평가셋 대신 열 곳
지시문·말뭉치 행은 한국어 LLM 학습 데이터셋(63개)에 있습니다. 과제로 거르려면 고르기. 이미 아는 두 이름은 비교.
로컬 파일이 있으면 브라우저에서 CSV→JSONL로 바꾸고, JSONL 검사· 필드 보기· PII 가리기· 데이터 품질· 샘플 체험· JSONL→CSV· 인용으로 줄을 본 뒤 train/val/test로 나눕니다. 로컬 학습 JSONL과 평가 문항은 문장 겹침에서 비교합니다. 형식 차이는 SFT 형식에 있습니다.
자주 나오는 질문
KLUE, KoBEST, KMMLU로 학습해도 되나요?
이 카탈로그에서 그 계열은 점수를 매기는 평가용입니다. 시험 문항으로 학습하면 점수는 올라가지만 쓸 수 있는 모델이 되지는 않습니다. 학습이 필요하면 LLM 학습 모음을 봅니다.
KLUE 가족 행 수가 ‘8개 과제’와 다른 이유는?
이 페이지는 슬러그가 klue 이거나 klue- 로 시작하는 카탈로그 행 7개를 셉니다. ‘8개 과제’ 같은 문장이 있으면 그 행의 제공처 표기이고, 여기서 다시 센 값이 아닙니다.
Ko-MMLU-Pro와 KMMLU-Pro는 같나요?
같지 않습니다. 카탈로그 슬러그가 다릅니다. 라이선스와 제공처는 각 카드를 엽니다.