Spark (2) - Spark 구성 요소 이해하기 - Databricks & Unity Catalog & RDD
원래는 Databricks 에서 Community Edition으로 노트북 환경 실습이 가능했지만,Community Edition 에서 Free Edition으로 전환되어서 실습이 제한되었다.따라서 For Work(업무용) 환경으로 대체해서 (AWS 연동)DBU(Databricks Unit) + AWS 인스턴스 비용 형식으로 실습을 진행할거고사용량 기준으로 과금이 될 수 있다.PC방으로 비유하자면,컴퓨터 이용로(AWS) 와 유료 게임 접속료(DBU)를 동시에 내는것과 같다.실습 진행하면서 틈틈히 과금을 확인하면서 진행해야할것 같다.1. Databricks 란?Spark를 기업 환경에 맞게 만든 확장-운영 가능한 플랫폼 Databricks는 "Apache Spark 기반의 클라우드 데이터 플랫폼" 이다.대..
DataEngineer(DE)/Spark- 데이터 처리, 최적화
2026. 4. 14. 00:37
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- DataSet
- elasticip
- Daynamic Task
- iceberg
- lake house
- de
- lakehouse
- Glue ETL
- DAG
- Databricks
- Backfill
- docker
- kafka
- spark
- Consumer DAG
- AWS Glue Catalog
- s3
- Data Dngineering
- Spark structured streaming
- AWS
- RDD
- Unity Catalog
- Prodcuder DAG
- airflow
- Glue
- catchup
- 데이터파이프라인
- Data Pipeline
- Data Engineerring
- Data engineering
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
글 보관함