IT 기타 (26) 썸네일형 리스트형 [Jsonl] JSON과 JSONL: 데이터 저장 및 처리의 두 가지 방식 AWS의 이미지를 GCP 로 이관하는 중 manifest.jsonl을 작성하던 중 생각나게 되어 적어보는 글입니다. 현대 웹 및 데이터 처리 환경에서 JSON(JavaScript Object Notation) 은 널리 사용되는 데이터 포맷입니다. 하지만 대용량 데이터 처리나 로그 파일 등 특정 환경에서는 JSONL(JSON Lines) 형식이 더 적합할 때가 있습니다. 이번 글에서는 두 가지 포맷의 개념, 차이점, 장단점, 그리고 활용 사례에 대해 살펴보겠습니다.1. JSON이란?JSON은 경량 데이터 교환 포맷으로, 사람이 읽고 쓰기 쉽고 기계가 구문 분석하고 생성하기 용이합니다.구조: 객체와 배열을 이용해 계층적인 데이터 표현이 가능합니다.사용 사례: 웹 API, 설정 파일, 데이터 저장 등 다양한 .. [IT] 구글·네이버·카카오, 이용자 요구사항 실시간 상담 창구 의무화 와 반가운 기사를 보았다.https://www.digitaltoday.co.kr/news/articleView.html?idxno=551811 구글·네이버·카카오, 이용자 요구사항 실시간 상담 창구 의무화 - 디지털투데이 (DigitalToday)[디지털투데이 이진호 기자] 과학기술정보통신부는 주요 부가통신사업자 이용자 요구사항 처리시스템 개선 내용을 담은 \'전기통신사업법 시행령\' 개정안이4일 국무회의를 통과해 공포 후 1년www.digitaltoday.co.kr요새 대기업들 다들 메일이나 게시판 등으로만 문의사항을 받는 경우가 있는데 속도가 느린 경우가 태반이다.이렇게 해도 되나 싶을정도로 느린 경우도 있다.걱정되는건 예전에도 지금도 생기는거지만 상담원 인원 자체는 적게 둬 대기만 몇시간 몇일 기.. [IT 상식] Design Pattern 소프트웨어 디자인 패턴(software design pattern)특정 문맥에서 공통적으로 발생하는 문제에 대해 재사용 가능한 해결책이다.소스나 기계 코드로 바로 전환될수 있는 완성된 디자인은 아니며, 다른 상황에 맞게 사용될 수 있는 문제들을 해결하는데에 쓰이는 서술이나 템플릿이다.디자인 패턴은 프로그래머가 어플리케이션이나 시스템을 디자인할 때 공통된 문제들을 해결하는데에 쓰이는 형식화 된 가장 좋은 관행이다.디자인패턴은 객체지향 언어에 맞춰 발표된것으로 객체 관련된 패턴이 많이 사용된다.즉, 서브시스템에 속하는 컴포넌트들끼리의 관계를 설계하기 위한 참조 모델이 많다. 예1) 객체 생성시 중복적으로 일어나는 문제 해결예2) 클래스나 객체를 조합 시 구조 형성예3) 객체 간의 상호작용과 책임 분배 정의 .. [IT 상식] Monolithic 아키텍처 (feat. MSA) 그저 모놀리식으로 개발을 진행하고 있지만 모놀리식이라는 단어를 처음 접하게 되어 적어보는 IT 상식(?)Monolithic Architecture(모놀리식 아키텍처)하나의 서비스로 하나의 애플리케이션 제공 즉, 하나의 프로젝트에 코드가 모여있고 하나의 파일로 구성된다.반대(?)가 되는 아키텍처 MSA(Micro Service Architecture)여러가지의 서비스로 하나의 애플리케이션 제공하는것은 SOA(Service Oriented Architecture) MSA(Micro Service Architecture)하나의 큰 애플리케이션을 작은 애플리케이션으로 나눠서 만드는 아키텍쳐참조자세한 정보는 아래 블로그가 잘 적혀져 있었다.이미지도 아래 사이트 이미지!https://wonit.tistory.com.. [MQTT] MQTT는 그 많은 통신을 어떻게 계속 유지하는걸까? 통신에 대해 정확하게 모르기 때문에 순수하게 궁금했다.MQTT도 똑같은 TCP 통신일텐데 계속 통신해서 유지해야하는거 아닌가 소켓처럼? 그러면 통신을 계속 유지 해야하니 힘들지 않나? 그것이 왜 되는가?? (소켓의 한계는 잘 모르지만..)근데 많은 이들이 그냥 그런 애임.. 하고 그냥 넘어가고 그런걸 적은 사람이 없길래 한번 정리해봤다. (내가 못 찾은걸지도)그냥 이곳 저곳에서 찾은 정보를 짜집기한거라 명확하지않을 수 있다.정확한것은 좋은 자료가 있는곳을 찾아보고 알려줬으면 좋겠다. 나도 쉬운 자료 보면 공부하고싶다. ㅠ1. MQTT란?일단 하기 전에 MQTT에 대해 알아보자. 공식 사이트에선 아래와 같이 소개한다.MQTT는 사물 인터넷(IoT)을 위한 OASIS 표준 메시징 프로토콜입니다.작은 코드 풋.. [펌] 가치있는 테스트를 위한 전략과 구현 많은 테스트 글에서 실제로 테스트하기 위한 실질적으로 도움이 되고 마음에 와 닿는 그런 글들이 별로 없다.그냥 이론적으로 말하는 느낌이랄까이번에 뭔가 마음에 와닿는 글이 있어 저장해본다. https://toss.tech/article/test-strategy-server [Google Cloud] Looker (BI / 데이터 통계) https://cloud.google.com/looker https://cloud.google.com/looker cloud.google.com [Data 관리 아키텍처] Lakehouse 란? (feat. 스토리지 프레임워크) 데이터 레이크란?데이터 레이크는 엔터프라이즈 전반에서 다양한 비즈니스 애플리케이션, 시스템, 장치에서 생성되는 방대한 양의 구조화되지 않은 데이터 및 반구조화된 데이터를 처리하고 저장할 목적으로 설계된 아키텍처입니다. 기존의 데이터베이스와 달리 파일 API와 경제적인 스토리지 인프라를 활용하여 원시 텍스트, 이미지, 동영상 등 다양한 데이터 유형을 저장할 수 있습니다.데이터 레이크의 확장성과 접근성으로 특히 기계 학습 및 인공 지능 알고리즘을 위한 고급 분석에 유리합니다. 개방형 파일 형식을 사용하면 상호 운용성이 향상되지만, 데이터 레이크는 기본적으로 데이터의 무결성과 거버넌스를 보장하는 강력함 메커니즘이 부족하다는 점을 고려해야 합니다.적절하게 관리하지 못하는 경우 데이터 레이크는 중복되고 정리되지 .. 이전 1 2 3 4 다음
