-
Airflow-Docker Compose 설치하기-(1) 배경데이터엔지니어 2023. 2. 1. 09:45
이 글은 Docker 를 활용해 Airflow 서버를 구축하고
데이터 파이프라인을 구축하는 것에 관한 게시글 입니다.
아키텍처는 아래 그림과 같다.
- 매일 1000만여건의 데이터를 배치형식으로 이관
- Oracle(Source DB)에서 CSV 파일 Export
- CSV 파일을 Postgres(Target DB) 로 import(copy 명령어 활용)
데이터 이관 Airflow 흐름도 ㅁㄴㅇㄹ
'데이터엔지니어' 카테고리의 다른 글
Docker Postgresql shm size 변경(Volume mount 방법)(Error: could not resize shared memory segment) (0) 2023.07.18