9-1. Redshift 소개OLTP vs OLAP OLTPOLAP명칭Online Transaction ProcessingOnline Analytical Processing핵심쓰기(INSERT/UPDATE)읽기 (SELECT)목적빠른 트랜잭션 및 데이터 수정복잡한 분석 및 의사 결정 지원데이터 성격실시간 데이터 처리데이터 분석주요 연산CRUD 연산GROUP BY, JOIN, AGGREGATE데이터 크기상대적으로 작음매우 큼데이터 무결성ACID 준수일부 희생사용 사례은행 거래, 주문처리데이터 웨어하우스, BI왜 OLAP는 ACID를 일부 희생할까?1. 빠른 분석이 더 중요하고2. 약간의 데이터 지연 허용 가능하기 때문 Data Warehouse분석을 위해 정제된 데이터만 모아놓은 저장소분석을 위해 최적화된..
8-1. Lambda 소개서버 없이 코드를 실행하는 함수 실행 서비스 (FaaS)Serverless서버를 안 쓰는 게 아니라 '서버를 신경 안 써도 되는 것'인프라 관리 불필요필요한 컴퓨팅 소스 동적 할당사용한만큼 비용 지불확장성과 보안성실시간 서비스에는 적합하지 않음(Cold Start)Baas / FaasBaas이미 만들어진 백엔드를 API로 제공Backend as a Service여러 백엔드 업무를 API로 제공함로그인, 데이터베이스, SNS 연동, 파일시스템 등API를 사용한 만큼 비용 측정개발 시간 단축Faas내가 직접 함수 코드를 작성해서 실행Function as a Service함수 제공 서비스프로그래밍 언어를 이용하여 함수 개발이벤트(트리거)가 발생하면 함수 호출 및 종료함수가 실행되는 횟..
7-1. Athena 소개AthenaS3에 있는 파일을 DB처럼 SQL로 조회할 수 있게 해주는 서버리스 서비스표준 SQL을 사용하는 대화형 분산 쿼리 서비스Presto 쿼리 엔진(분산 처리 가능, 대용량 데이터 효율적 조회 가능)"큰 데이터를 여러 컴퓨터로 나눠서 처리"S3에 저장된 데이터를 분석SCV, JSON, ORC, Avro, ParquetServerlessGlue Data Catalog와 통합로그 분석, Ad-hoc분석, BI 도구 통합가격 - S3 데이터 스캔 비용 ($5/TB)# S3 전체를 읽어서 요금이 폭발하는 예시SELECT * FROM logs;# 일부만 읽어서 요금을 절약하는 예시SELECT * FROM logs WHERE date = '2026-03-28'; Athena 에서 지..
4-1. EC2 소개EC2Elastic Compute Cloud 컴퓨팅 리소스원하는 스택의 서버를 생성할때 사용특징다양한 OS 지원유연성과 확장성예1) 스타트업 창업시 작은 스팩의 서버 -> 확장후 큰 서버로 스팩 변경예2) 오토스케일링을 통한 자동으로 사용량 조정비용 효율성보안성글로벌 인프라 과금 옵션On-Demand사용한 양 만큼 과금을 진행SpotAWS의 여유 컴퓨팅 용량을 사용하는 방식즉, Spot을 사용하다가 AWS의 여유 용량을 없다면 사용이 중단 될 수 있다는 의미지속적으로 사용해야하는 서버가 아니라 임시적으로 짧게 사용하는 상황에서 좋음 (데이터 분석과 같은 유연한 상황)Reserved(RI)예약 인스턴스 (1년 또는 3년 약정)장기적인 관점으로 봤을때는 On-Demand 보다 약 75% ..
2-1. AWS 소개AWS 란?Amazon Web ServiceAmazon에서 제공하는 클라우드 컴퓨팅 서비스Amazon.com (전자상거래 웹사이트) 내부 운영에서 탄생하게 됨 2025년 1월 기준 약 229개의 서비스가 존재하지만, 필요한 것만 알면 됨. Free Tier사용하는 만큼만 과금되는 부분은 기업이 아닌 개인에게는 부담이 될 수 있음 -> Free Tier가 도움이 될 수 있음체험판 제공 (가입일 이후 12개월)특정 스펙에서만 서비스 제공무료로 제공해주는 기준을 넘으면 과금됨 (통지 X)Free Tier 세부 정보 주의 사항언제나 비용에 조심하기서비스를 사용 완료했다면 삭제하기2-2. AWS 계정 생성 및 MFA 설정AWS 계정을 생성하는 등의 실습들이기 때문에 따로 글로 적진 않고,알고..
- Total
- Today
- Yesterday
- iceberg
- Consumer DAG
- elasticip
- 데이터파이프라인
- Prodcuder DAG
- s3
- Daynamic Task
- Data Pipeline
- lake house
- kafka
- Glue ETL
- Unity Catalog
- Data Engineerring
- RDD
- AWS
- DAG
- Data engineering
- Spark structured streaming
- AWS Glue Catalog
- Data Dngineering
- Glue
- DataSet
- Databricks
- lakehouse
- docker
- airflow
- de
- Backfill
- spark
- catchup
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
