육각형개발자

1. 현재 구현 - 어떻게 동작하는가1-1. 어떤 부분에 대해 고민을 했는가`iceberg_maintenance.py`가 Bronze 4테이블 + Silver 1 테이블을 정리한다.Gold 테이블은 대상에 없다. (당연히 maintenance 잡이 Gold 가 생기기 전에 만들어지기 때문에 미포함됨)1-2. maintenance가 동작하는 방식 3가지 연산이 있고,순서는 compact → expire → orphan연산Iceberg설정compaction`rewrite_data_files``min-input-file=5`(5개 미만 파티션은 스킵),`target-file-size=128MB`,`partial-progress.enabled`(OCC 충동 시 부분 커밋)expire`expire_snapshot..

0. 강의 목차---이론 부분---1. DAG 파일 구조 & 기본 규칙: Airflow 프로젝트 구조와 DAG 파일의 기본 요소2. TaskFlow API 개념: Python 함수 기반 DAG 작성 방법과 장점3. Task / DAG Run 관계: 실행 단위와 개념 이해---실습부분---4. 첫 TaskFlow DAG 작성: 실습을 통한 TaskFlow API 활용 방법5. DAG 실행 & Graph View 해석: 실행 결과 확인 및 View 해석6. 실패 DAG & 로그 분석: Task 로그 확인 포인트 ● Airflow DAG 하나정도는 스스로 만들고 실패시 트래킹 가능하도록 하는것이 오늘의 목표!1. DAG 파일 구조 & 기본 규칙1-1. Airflow 프로젝트 구조와 위치프로젝트 구조:dags/..