[Jsonl] JSON과 JSONL: 데이터 저장 및 처리의 두 가지 방식

AWS의 이미지를 GCP 로 이관하는 중 manifest.jsonl을 작성하던 중 생각나게 되어 적어보는 글입니다.

 

현대 웹 및 데이터 처리 환경에서 JSON(JavaScript Object Notation) 은 널리 사용되는 데이터 포맷입니다. 하지만 대용량 데이터 처리나 로그 파일 등 특정 환경에서는 JSONL(JSON Lines) 형식이 더 적합할 때가 있습니다. 이번 글에서는 두 가지 포맷의 개념, 차이점, 장단점, 그리고 활용 사례에 대해 살펴보겠습니다.

1. JSON이란?

JSON은 경량 데이터 교환 포맷으로, 사람이 읽고 쓰기 쉽고 기계가 구문 분석하고 생성하기 용이합니다.

• 구조: 객체와 배열을 이용해 계층적인 데이터 표현이 가능합니다.
• 사용 사례: 웹 API, 설정 파일, 데이터 저장 등 다양한 용도로 활용됩니다.
• 예시:

{
  "name": "DJ",
  "age": 33,
  "languages": ["Python", "Java"]
}

JSON의 장점

가독성: 사람이 읽기 쉽게 설계되어 있어 디버깅에 용이합니다.

표준화: 다양한 언어와 플랫폼에서 기본적으로 지원됩니다.

유연성: 복잡한 데이터 구조를 쉽게 표현할 수 있습니다.

JSON의 단점

대용량 처리 한계: 전체 파일을 한 번에 파싱해야 하므로, 매우 큰 파일을 다룰 때 메모리 문제가 발생할 수 있습니다.

수정 어려움: 특정 데이터를 부분적으로 수정하거나 추가하는 작업이 비효율적일 수 있습니다.

2. JSONL(JSON Lines)이란?

JSONL은 JSON Lines의 약자로, 각 줄마다 하나의 JSON 객체가 기록되는 포맷입니다.

 

• 구조: 각 줄은 독립적인 JSON 객체로 구성되어 있어 스트리밍 방식으로 데이터를 읽거나 쓸 수 있습니다.
• 사용 사례: 로그 파일, 대용량 데이터 처리, 머신러닝 데이터셋 등에서 주로 사용됩니다.

예시:

{"name": "DJ", "age": 33}
{"name": "beginner", "age": 25}
{"name": "senior", "age": 35}

JSONL의 등장 배경

대용량 데이터 처리와 스트리밍 데이터 요구

대용량 데이터 처리의 어려움

전통적인 JSON 파일은 전체 데이터를 한 번에 파싱해야 하므로, 데이터 크기가 커지면 메모리 부담이 커지고 처리 속도에도 영향을 미칩니다. 이러한 문제를 해결하기 위해 각 줄마다 독립적인 JSON 객체로 구성된 JSONL은 한 줄씩 읽어 처리할 수 있어 효율적입니다.

스트리밍 데이터 처리 필요성

로그 파일이나 실시간 데이터 스트림의 경우, 데이터가 지속적으로 생성되고 추가되는 특성이 있습니다. JSONL은 새로운 데이터를 기존 파일에 한 줄씩 추가할 수 있어 스트리밍 데이터 처리에 매우 적합합니다.

에러 처리 및 데이터 복구 용이성

JSON 파일의 경우, 전체 데이터 중 일부가 손상되면 전체 파싱에 문제가 발생할 수 있습니다. 반면 JSONL은 각 줄이 독립적인 JSON 객체로 되어 있기 때문에, 특정 줄에 문제가 생겨도 다른 데이터에는 영향을 주지 않아 에러 처리 및 복구가 용이합니다.

JSONL의 장점

스트리밍 처리: 한 번에 한 줄씩 읽어들일 수 있어 메모리 사용 효율이 좋습니다.

추가/수정 용이: 새로운 데이터를 추가할 때 파일 전체를 다시 작성할 필요 없이 한 줄씩 추가할 수 있습니다.

에러 처리: 특정 줄에 오류가 발생해도 전체 파일에 영향을 주지 않고 해당 줄만 건너뛰거나 수정할 수 있습니다.

JSONL의 단점

계층적 데이터 표현 제한: 각 줄이 독립적인 객체이므로, 서로 연결된 관계를 표현하는 데 한계가 있을 수 있습니다.

분석 도구 필요: 모든 도구가 JSONL 포맷을 기본 지원하지 않을 수 있으므로, 별도의 전처리 과정이 필요할 수 있습니다.

3. 언제 JSONL을 사용해야 할까?

대용량 로그 데이터 처리

서버 로그, 이벤트 스트림 등 대용량 데이터를 저장하고 실시간 분석이 필요한 경우, JSONL은 한 줄씩 처리할 수 있어 매우 효율적입니다.

 

스트리밍 데이터 처리

실시간 데이터 수집 및 처리가 필요한 애플리케이션에서는 JSONL 포맷이 적합합니다. 데이터의 추가나 수정이 빈번한 경우에도 유리합니다.

 

데이터 파이프라인

ETL(Extract, Transform, Load) 과정에서 JSONL 파일은 단계별로 데이터를 분리하여 처리할 수 있어 파이프라인의 각 단계를 독립적으로 관리하기 용이합니다.

 

4. JSON과 JSONL의 선택 기준

파일 크기 및 처리 방식

전체 데이터를 메모리에 올려서 처리해도 문제가 없다면 JSON이 간결하고 관리하기 쉽습니다. 반면, 대용량 데이터나 스트리밍 처리가 필요하면 JSONL을 고려해야 합니다.

데이터 관계성

계층적이고 복잡한 데이터 구조가 필요한 경우 JSON이 유리합니다. 단순 로그나 독립적인 데이터 항목을 처리할 때는 JSONL이 더 적합합니다.

툴 및 라이브러리 지원

사용하는 언어나 플랫폼에서 어느 포맷을 기본 지원하는지, 또는 별도의 파싱 라이브러리가 필요한지 확인하는 것도 중요합니다.

5. 마무리

JSON과 JSONL은 각각의 장점과 단점을 가지고 있으며, 사용 목적과 상황에 따라 적절한 포맷을 선택하는 것이 중요합니다. 대용량 데이터나 스트리밍 데이터 처리에는 JSONL이 효율적일 수 있으며, 계층적이고 복잡한 데이터 구조를 다루어야 한다면 전통적인 JSON이 더 적합합니다.