티스토리 뷰
1. 메타코드 환급형 부트캠프를 고르게 된 배경
요즘 채용 공고를 보면 데이터 엔지니어 채용이 부쩍 늘었다는 걸 체감하게 되는데요.
대규모 데이터를 다루는 시대인 만큼,
좋은 품질의 데이터를 안정적으로 수집하고 관리하는 능력이 점점 더 중요해지고 있죠.
저는 현역으로 군대를 가는 대신 운좋게 프론트엔드 개발자로 일할 수 있는 기회를 얻어서,
약 2년 2개월간 프론트엔드 개발자로 일했습니다.
일 트래픽 수백만 규모의 서비스를 운영하면서,
매일 수십억 건씩 쌓이는 광고 이벤트 데이터가 어떻게 수집되고 적재되어 실무에 쓰이는지를 가까이에서 지켜봤어요.
그 과정에서 자연스럽게 든 생각이 있었습니다.
"화면을 그리는 것도 좋지만, 이 데이터가 흐르는 파이프라인 자체를 직접 설계해보고 싶다."
그렇게 데이터 엔지니어로의 커리어 전환을 마음먹게 되었고,
- 학업과 병행이 가능하고
- 단순 이론이 아니라 실무형 포트폴리오를 만들 수 있으며
- 조건 충족 시 수강료 환급까지 가능한
메타코드 환급형 부트캠프를 알게 되어 바로 수강을 시작했습니다.
2. 데이터 엔지니어링 학습 과정
이 과정의 가장 큰 장점은,
툴 사용법만 따로따로 배우는 게 아니라
데이터 파이프라인 설계 → 수집 → 처리 → 저장까지
실무 흐름 전체를 하나로 이어서 실습한다는 점이었어요.
주차별 커리큘럼은 대략 이런 순서로 진행되었습니다.
- 기본 SQL
- Git 및 Cloud(AWS) 활용
- 데이터 파이프라인 구축의 기본 개념
- Airflow — 배치 스케줄링 / 워크플로우 오케스트레이션
- Spark (Structured Streaming) — 대용량 데이터 가공·실시간 처리
- Docker / docker-compose, Kubernetes — 프로젝트 환경 구성
- Kafka — 실시간 메시지 스트림 처리
- 스터디 및 실전 프로젝트

기초부터 시작해 실제 파이프라인을 구성하는 단계까지
자연스럽게 이어지는 구조라, 흐름을 잃지 않고 체계적으로 따라갈 수 있었어요.
사실 다른 강의에서는 Spark, Kafka, Airflow를 각각 따로 배우는 경우가 많아서
"이걸 대체 어디에, 어떻게 연결해서 써야 하지?" 하는 막막함이 있었는데요..
메타코드에서는 각 기술을
실제 도메인 활용 사례와 함께 배울 수 있어서
언제 Spark를 쓰는 게 좋은지,
Kafka를 어떤 구조로 연결해야 효율적인지가
실무 관점에서 명확하게 잡혔습니다.
또한 단순 기술을 사용한다는 부분보다는,
왜 해당 기술을 사용해야하는지, 그렇다면 사용할때는 어떤 부작용이 있을 수 있는지에 대해 고민하며 학습하는 부분이 매우 좋았습니다.
저는 개인적으로 개발자(엔지니어)란 기술을 얼마나 많이 알고 있나보단,
냉장고에서 배고플때 음식을 꺼내먹듯이,
기술이 필요한 상황이 올때 적재적소의 기술을 사용하는 역량이 더 중요하다고 생각합니다.
해당 수업은 그러한 부분을 만족해 줄 수 있는 커리큘럼으로 보였고, 해당 수업을 선택하게 되었습니다.
3. 단순히 따라치지 않으려고 했던 시간
사실 저는 전공자라고 보기는 애매한 사람이었습니다.
아직 대학교를 3학년도 채 다니지 않은 상태라, 전공에 대해 학습한게 별로 없었거든요.
따라서 해당 부트캠프에서 배우는 개념중 SQL과 Python을 제외한 모든 영역에 대해 정말 노베이스 수준이었습니다.
(사실 SQL과 Python도.. 정확히 안다고 할순 없는 수준)
그래서 저는 해당 부트캠프를 시작하기에 앞서, 아래와 같이 다짐했습니다.
코드를 그대로 따라 치는 데서 멈추지 않으려고 노력하자
예를 들어 Spark 실습을 하면서도
- executor가 정확히 무엇이고, driver와 어떻게 역할이 나뉘는지
- 하나의 프로세스 안에서 스트림 쿼리 3개를 띄우는 것과, 3개로 분리하는 것의 장애 격리 차이
- 파티션 키 정책이나 중복 제거(merge into) 정책은 누가, 왜 결정하는지
같은 질문들을 계속 스스로에게 던졌습니다. (이것 말고도 정말 많은 질문이 있었습니다..)
심지어 "프로세스와 스레드가 정확히 뭐지?" 하는
기초 개념까지 다시 파고들었어요.
이렇게 "왜 이렇게 설계하는가"를 끝까지 물고 늘어지니,
각 기술이 따로 노는 지식이 아니라
하나의 파이프라인으로 연결되어 머릿속에 그려지기 시작하더라고요.
이게 이번 과정에서 얻은 가장 큰 수확이라고 생각합니다.
4. Live 현직자 특강
또한 해당 부트캠프의 큰 장점중 하나라고 할 수 있는, 현직자 특강도 상당히 맘에 들었습니다.
사실 데이터엔지니어라는 직업을 가지신 분을 주변에서 쉽게 찾아볼 수 없었던 입장이라,
실제 현업에서 일하고 계신 분들의 소중한 고견을 들을 수 있는 자리가 여러번 있는게 정말 기대가 되었습니다.
단순 기술에 대해 교육을 하는 특강이 아니라,
실무에서는 어떤 부분에 집중해서 사용하고 있고, 앞으로 어떤 기술에도 관심을 가지고 있다 라는 식의 조언은 큰 도움이 되었습니다.
또한 특강이 완료된 후에는 간단한 Q&A가 준비되어있었는데,
기술적 질문도 가능하지만 커리어적인 질문도 얼마든지 할 수 있는 부분이 정말 큰 도움이 되었습니다.
특강 출석이 의무가 아닌 차시도 있는 것으로 알고 있지만,
저는 가능하다면 무조건 수강하시는것을 추천드립니다.
준비해주신 부분들은 모조리 뽑아먹는다(?)는 마인드가 중요한것 같습니다.

5. 프로젝트 & 스터디
10주간의 강의가 끝난 뒤에는 약 한달간 프로젝트를 진행했습니다.
두 개의 주제를 가지고 준비할 수 있자만,
저는 이전 프론트 개발때 경험이 있던 광고 이벤트 관련된 주제를 선정하였습니다.
간단하게만 프로젝트 개요를 설명드리자면,
광고 이벤트 스트림을 Kafka로 수집하고,
Spark Structured Streaming으로 실시간 처리한 뒤,
Airflow로 배치 워크플로우를 오케스트레이션하고,
마지막으로 BI 대시보드로 지표를 시각화하는
실시간 데이터 처리 파이프라인을 설계·구현하는 것이 목표였어요.
프로젝트 기간 동안 매주 두번씩 멘토님과 아키텍처 리뷰·피드백 세션을 진행했는데요.
설계 방향, 기술 선택의 적절성, 개선 포인트 등을
현직 데이터 엔지니어의 실무 관점에서 짚어주셔서 정말 큰 도움이 되었습니다.

또한 프로젝트를 진행함에 있어, 실무에서는 어떤 부분을 중심으로 보는지,
어떻게 구현하면 좋은지에 대해 강의도 진행해주셨는데, 이부분도 큰 도움이 되었습니다.
단순히 과제를 만드는 수준이 아니라,
"왜 이렇게 설계하는지"를 계속 고민하게 만드는 과정이었다는 점이 특히 인상 깊었어요.

6. 메타코드 부트캠프를 선택한 이유
6-1. 시간적 유연성
저는 대학교를 휴학해서 시간적으로 여유가 되었지만,
개인적으로 진행하고 있는 공부와 병행해야 했기 때문에 평일 오후나, 주말에 가장 시간을 많이 쏟을 수 있었습니다.
이 과정은 100% 온라인으로 진행되고
평일반 / 주말반 중 선택할 수 있어서,
제 스케줄에 맞춰 무리 없이 학습을 이어갈 수 있었습니다.
6-2. '환급'이라는 강력한 동기부여
솔직히 처음보는 개념에 대한 학습은 집중력과 많은 시간을 쏟아야 하기 때문에 지칠 수 있을 것 같았습니다.
그런데 출석과 과제 제출 등 일정 기준을 충족하면 환급이 가능하다 보니,
단순히 돈을 돌려받는 걸 넘어
끝까지 완주하게 만드는 확실한 동기부여가 되었습니다.
(과제에서 점수가 깍이면 정말 계속 오답인가, 왜 오답인가 정말 수시간을 고민했던적도 있습니다)

6-3. 실무형 포트폴리오와 멘토링
가장 좋았던 점은 현직 데이터 엔지니어의 멘토링이었어요.
수업 외 시간에도 디스코드으로 자유롭게 질문할 수 있었고,
멘토님께서 '어떤 방향으로 작업하면 도움이 될지'를 늘 함께 고민해 주셔서
결과물의 완성도를 크게 끌어올릴 수 있었습니다.

실무에서 실제로 쓰이는 도구들의 활용법과,
비슷한 주제를 직접 다뤄보신 현장의 노하우를 생생하게 들을 수 있었던 것도 큰 도움이 되었어요.

6. 마무리
돌아보면 이번 부트캠프는
이론과 실습의 균형이 잘 잡힌, 완주할 만한 가치가 있는 과정이었습니다.
특히 프론트엔드에서 데이터 엔지니어로 방향을 트는 저 같은 사람에게,
"실무에서 바로 쓸 수 있는 파이프라인을 직접 설계해본 경험"은
커리어 전환에 있어 강력한 무기가 되어줄 것 같아요.
감사하게도 우수 수료자로 선정이 되었고, 환급도 받게 되었는데요.
우수 수료자가 되고 환급도 받게 되니까,
그동안 퇴근 후 졸린 눈 비벼가며 달려온 시간이 더 값지게 느껴졌고,
부담 없이 배움에만 집중할 수 있었다는 점도 만족스러웠습니다.


사실 15주간의 과정만으로 바로 완벽한 데이터엔지니어가 될 거라고 생각하진 않습니다.
다만, 15주간 데이터엔지니어가 가져야하는 자세와, CS 지식, 실무적 배움에 대해 배웠기에,
앞으로 학습 방향성과 어떤것을 더 공부해야하는지 길을 정할 수 있게 되었습니다.
데이터 엔지니어를 목표로
실무 기술과 포트폴리오를 동시에 얻고 싶은 분이라면,
그리고 "왜 이렇게 동작하는가"까지 제대로 파고들며 공부하고 싶은 분이라면,
저처럼 환급형 부트캠프를 한 번 경험해 보시길 추천드립니다.
메타코드 부트캠프는 요기 👇
- Total
- Today
- Yesterday
- lakehouse
- Prodcuder DAG
- Databricks
- task
- Data Dngineering
- DAG
- docker
- Data engineering
- Data Pipeline
- RDD
- spark
- Unity Catalog
- Data Engineerring
- Spark structured streaming
- DataSet
- AWS Glue Catalog
- 데이터파이프라인
- 데이터 파이프라인
- Glue
- airflow
- iceberg
- de
- kafka
- 테스트로직
- Daynamic Task
- 메타코드부트캠프
- Consumer DAG
- lake house
- s3
- AWS
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |