Airflow 3.0과 DAG 개발 및 최적화 (4) - DAG 실행 제어 & Backfill
0. 강의 목차1. Schedule / Catchup / Retry: 실행 주기 및 재시도 메커니즘2. Backfill 개념 & 필요성: 과거 데이터 재처리의 이해3. Catchup vs Backfill: 실무 운영 판단 기준4. Catchup 활성화 실습: 과거 미실행 구간 자동 처리5. CLI 기반 Backfill 실행: 명령어 기반 수동 재처리6. Backfill 시 중복 데이터 문제: 멱등성(Idempotency) 설계의 중요성1. Schedule / Catchup / Retry1-1. cron 표현식 기본 개념개요: Airflow에서 DAG 실행 주기를 정의하는 표준 방식으로, 분, 시, 일, 월, 요일 단위를 사용한다.기본 구조: 분(0-59) 시간(0-23) 일(1-31) 월(1-12) 요일..
DataEngineer(DE)/Airflow 3.0 & DAG 개발 및 최적화
2026. 4. 9. 23:52
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Data Engineerring
- RDD
- Prodcuder DAG
- Consumer DAG
- Databricks
- s3
- lake house
- 데이터파이프라인
- de
- Data Pipeline
- elasticip
- airflow
- spark
- Data Dngineering
- AWS
- Daynamic Task
- DAG
- Unity Catalog
- AWS Glue Catalog
- docker
- lakehouse
- iceberg
- kafka
- Glue
- catchup
- Backfill
- DataSet
- Data engineering
- Glue ETL
- Spark structured streaming
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
글 보관함