도구
CSV·TSV를 지시문 JSONL로
헤더 행의 열을 instruction·input·output에 맞춘 뒤, 한 행을 JSON 객체 한 줄로 씁니다. 원본 표는 기어델로 가지 않습니다.
변환은 이 탭에서만 합니다. 고른 파일도 브라우저가 읽고, 기어델 서버로 가지 않습니다.
한 행이 JSONL이 되는 방식
첫 행은 헤더, 그다음 행은 레코드입니다. 따옴표 안 필드는 RFC 4180을 따릅니다. 따옴표 두 개는 따옴표 문자이고, 따옴표 안의 쉼표·탭은 칸에 남습니다.
구분자는 쉼표, 탭, 세미콜론입니다. 자동은 첫 논리 줄에서 따옴표 밖에 가장 많이 나온 것을 고릅니다.
열을 instruction, 선택 input, output에 맞춥니다. instruction·prompt·지시문·output·응답 같은 헤더는 추정하고, 직접 바꿀 수 있습니다.
Alpaca는 instruction·input·output을 그대로 둡니다. ShareGPT와 OpenAI messages는 instruction과 input을 빈 줄로 이어 한 user 턴, output을 assistant 한 턴으로 씁니다. 표의 한 행은 대화 한 쌍이지, 여러 턴이 아닙니다.
디스크에서 고른 파일은 UTF-8로 읽습니다. EUC-KR을 고르면 글자 수 페이지와 같은 WHATWG 색인(웹 euc-kr, windows-949)으로 디코드합니다. 포인터가 없는 바이트는 버리고 개수만 적습니다.
하지 않는 일
- 엑셀 수식, 병합 셀, .xlsx는 없습니다. CSV나 TSV로 보낸 뒤에 붙입니다.
- 한 칸을 형태소 분석해 instruction과 output으로 나누지 않습니다.
- tool 호출과 이미지 메시지는 쓰지 않습니다. 그런 줄이 있으면 JSONL 검사 페이지를 씁니다.
- 데이터 행 2만 개, 또는 약 200만 글자까지입니다.