육각형개발자

들어가며우선 Silver 레이어 구축은 다른 레이어보다 고려해야할 부분들이 많고,중요한 기능들이 있기에, 여러 포스팅으로 나눠 적어볼 예정이다. (현재 작성 시점으론 3개 포스팅 계획중) Bronze에서 raw 데이터를 S3에 영구 저장했다.하지만 그 데이터는 분석에 바로 쓸 수 없는 상태이다. Bronze에 저장된 것:value = '{"campaign_id":10046,...}' (dummy)value = '{"campaign":9100690,"cost":0.00003,"cat1":...}' (criteo) → JSON 문자열 덩어리, 두 원천의 모양이 다름 Silver의 일은 이 raw를 분석 가능한 깨끗한 테이블로 바꾸는 것이다.Bronze(받아서 쌓기)나 Gold(집계)보다 신경 쓸 게 많..

들어가며이전 단계까지 Producer가 Kafka로 이벤트를 보내는 것을 확인했다.하지만 Kafka는 버퍼일 뿐이라, retension이 지나면 메시지가 사라진다. 데이터를 가지고 분석을 하려면 Kafka의 이벤트를 어딘가에 영구 저장해야 한다. 이번 포스팅은 그 첫 영구 저장 계층인 Bronze 레이어를 만든 과정이다.Producer → Kafka → 현재 단계: [Bronze] → Silver → GoldBronze의 원칙은 단 하나 - raw 그대로 저장.변환-정제는 다음 계층(silver)의 몫이다.1. 핵심 결정 ① - 컨슈머를 어디서 돌릴 것인가처음엔 막연히 AWS Glue Streaming으로 적재하면 될거라고 생각했다.다만 근본적인 문제에 부딪혔다.클라우드의 Glue는 내 맥북의 `loca..

8-1. Lambda 소개서버 없이 코드를 실행하는 함수 실행 서비스 (FaaS)Serverless서버를 안 쓰는 게 아니라 '서버를 신경 안 써도 되는 것'인프라 관리 불필요필요한 컴퓨팅 소스 동적 할당사용한만큼 비용 지불확장성과 보안성실시간 서비스에는 적합하지 않음(Cold Start)Baas / FaasBaas이미 만들어진 백엔드를 API로 제공Backend as a Service여러 백엔드 업무를 API로 제공함로그인, 데이터베이스, SNS 연동, 파일시스템 등API를 사용한 만큼 비용 측정개발 시간 단축Faas내가 직접 함수 코드를 작성해서 실행Function as a Service함수 제공 서비스프로그래밍 언어를 이용하여 함수 개발이벤트(트리거)가 발생하면 함수 호출 및 종료함수가 실행되는 횟..

5-1. 스토리지 비교S3에 대해 공부하기 전에 스토리지에 대해 먼저 알아보자. 스토리지 (객체, 파일, 블록)객체 스토리지 (Object Storage)데이터를 객체로 저장하고 관리데이터 + 메타 데이터평면 구조로 접근이 빠르고 확장성이 좋음특징확장성(페타바이트 규모)비용 효율성내구성 및 가용성사용 사례: 데이터 레이크, 백업, 로그 저장, 웹 호스팅파일 스토리지 (File Storage)데이터를 파일 단위로 저장하고 관리제한적 메타데이터(생성일, 파일 크기 등등)폴더와 디렉토리의 계층 구조에 저장특징사용자 친화적공유 및 협업제한된 확작성(대용량에 제한적)사용 사례: NAS블록 스토리지 (Block Storage)데이터를 일정한 크기의 블록으로 저장파일 시스템 (ext4, NTFS)을 구성해야 함.특징..