AWS를 이용한 데이터 엔지니어링(1) - 목표 설정 및 클라우드 개념

0. 이번 주제에서의 목표

• 클라우드와 AWS에 대해 이해하기
• DE에 필요한 AWS 서비스들 이해하기
• AWS 서비스들을 이용해서 데이터 파이프라인 구축하기

이번에 구성할 파이프라인 미리보기

---

1-1.  클라우드

클라우드(Cloud)

• 네트워크를 통해 전산 자원들을 공유하는 환경
• 클라우드 컴퓨팅
  • 컴퓨팅 자원을 사용하는 기술
  • 서버, 스토리지, 네트워크 등을 가상화하여 제공

출처: 메타코드 DE 강의

클라우드 제공업체

• AWS(Amazon)
• Google Cloud Platfor(GCP)
• Microsoft Azure

2024 가트너 매직 쿼드런트 보고서

클라우드 vs 온프레미스

	클라우드(Cloud)	온프레미스(on-premise)
환경	가상환경	물리적 환경(IDC-데이터센터)
비용	초기 구축 비용 적음	초기 구축 비용, 유지보수 비용 많음
확장성	빠르게 확장, 축소 가능	비용과 시간이 필요함
유지보수	쉬운 편	어려운 편
보안	클라우드 업체에 의존	자체적
데이터 관리	불완전한 통제권	완전한 통제권-그래서 일부 민감한 정보는 온프레미스 환경에 두는 경우도 있음

 

클라우드 유형

• Public Cloud
  AWS, GCP, Azure
• Private Cloud
  자체 클라우드
• Hybrid Cloud
  클라우드 + 온프레미스
  예) 민감한 정보는 온프레미스 환경에 두는 등
• Multi-Cloud
  AWS + GCP

---

1-2. 클라우드 컴퓨팅 서비스

클라우드 컴퓨팅 서비스

• Iaas(Infrastructure as a Service, 인프라 기반 서비스)
  - AWS 기준으로 EC2 
• PaaS(Platform as a Service, 플랫폼 기반 서비스)
  - AWS 기준으로 EB와 Lambda 등이 있음
• Saas(Software as a Service, 소프트웨어 기반 서비스)
  - AWS 기준으로는 Amazon connect, Amazon Quick Suite

출처: 메타코드 DE 강의

 

클라우드 컴퓨팅 장단점

• 장점
  • 손쉬운 구축 및 유지보수
  • 확장성과 탄력성
  • 사용한만큼 비용 측정
• 단점
  • 비용 - 제대로 관리하지 않느다면 비용 과금될 수 있음
  • 의존성