Alpaca·ShareGPT·OpenAI messages, 한 턴과 여러 턴

Alpaca

instruction, 선택 input, output이 있는 객체 하나입니다. 빈 input은 빈 문자열이지, 없는 키를 짐작하는 칸이 아닙니다. 여러 턴은 들어가지 않습니다. 학습기가 이 모양을 받으면, 첫 user와 첫 assistant만 남기는 손실을 받아들일 때만 바꿉니다.

{"instruction":"다음 문장을 높임말로 바꾸세요.","input":"밥 먹었니","output":"식사하셨어요?"}

ShareGPT

conversations(또는 conversation)는 from/value 배열입니다. human·user는 user, gpt·assistant·chatgpt·model은 assistant, system은 system입니다. 여러 턴은 여러 턴으로 남습니다. tool·function 턴은 이 페이지의 형식이 아닙니다.

{"conversations":[{"from":"human","value":"KMMLU는 학습용인가요?"},{"from":"gpt","value":"평가용 벤치마크입니다."}]}

OpenAI messages

messages는 role이 system|user|assistant이고 content가 문자열인 배열입니다. 미세조정 대화 JSONL은 한 줄에 이 객체 하나입니다. 이미지 파트와 tool 호출은 다른 스키마이고, 기어델 JSONL 검사는 칸을 조용히 버리지 않고 그 줄을 거절합니다.

{"messages":[{"role":"user","content":"서울의 수도는?"},{"role":"assistant","content":"대한민국의 수도는 서울입니다."}]}

모양이 정해진 뒤

표는 CSV→JSONL로 바꾸고, JSONL 검사로 줄을 본 뒤 필드 보기· PII 가리기· 데이터 품질· 샘플 체험· JSONL→CSV· 인용을 하고, 중복 제거와 토큰 길이를 거쳐 train/val/test에서 시드 해시로 나눕니다. ChatML이나 Llama 3 문자열은 채팅 껍데기에서 붙이고 셉니다. KLUE 같은 평가셋은 평가와 학습에 있습니다.

지시문·말뭉치 행은 한국어 지시문 데이터셋(28개)와 한국어 LLM 학습 데이터셋(63개)에 있습니다. 과제로 거르려면 고르기.