도구

지시문 JSONL 검사와 변환

한 줄에 JSON 객체 하나. 형식이 다른 줄은 몇 번째인지와 이유를 적습니다. 변환은 이 탭에서만 일어나고, 원본 파일은 기어델로 가지 않습니다.

검사는 브라우저에서만 합니다. JSONL을 업로드하지 않습니다. 파일이 필요하면 이 탭에서 내려받습니다.

이 페이지가 아는 형식

Alpaca: instruction, 선택 input, output. 빈 input은 빈 문자열로 둡니다.

ShareGPT: conversations(또는 conversation)의 from/value. human·user는 user, gpt·assistant·chatgpt·model은 assistant, system은 system입니다.

OpenAI 미세조정 대화: messages의 role이 system|user|assistant이고 content는 문자열입니다.

변환은 그 대화 목록을 거칩니다. Alpaca에서 나갈 때 input이 있으면 instruction 뒤에 빈 줄을 넣고 붙입니다.

하지 않는 일

  • 이미지 파트, tool·function 메시지는 줄 오류로 거절합니다. 조용히 버리지 않습니다.
  • 여러 턴은 Alpaca 한 쌍에 들어가지 않습니다. 손실 변환을 켜야 첫 user와 첫 assistant만 남기고, 시스템 메시지가 있으면 instruction 앞에 붙입니다.
  • 한 덩어리 JSON 배열은 JSONL이 아닙니다. 한 줄에 객체 하나로 나눕니다.
  • 한 번에 2만 줄, 또는 약 200만 글자까지입니다.

JSONL

원본
대상

변환 0 · 빈 줄 0 · 오류 0 · 손실 0

자주 나오는 질문

12번 줄이 실패한 이유는?

오류 번호는 붙여 넣은 텍스트의 줄 번호입니다. 1부터 세고, 빈 줄도 번호에는 들어갑니다. JSON.parse 실패는 엔진 메시지를 그대로 둡니다.

ShareGPT를 Alpaca로 바꿀 수 있나요?

user와 assistant가 한 번씩이면 됩니다. 턴이 더 있으면 손실 변환을 켭니다. 줄어든 줄 수는 결과에 적습니다.

기어델이 파일을 받나요?

받지 않습니다. 카탈로그도 데이터셋을 보관하지 않습니다. 이 도구는 탭 안의 글만 다시 씁니다.

기어델에서 이어서

과제로 데이터셋 고르기 →

한국어 지시문·학습 모음 →

한국어 텍스트 토큰 수 →

한국어 글자 수와 바이트 →