Apache Airflow - Workflow 관리 도구(1)

  • 오늘은 Workflow Management Tool인 Apache Airflow 관련 포스팅을 하려고 합니다.
  • 일반적으로 데이터 ETL(Extract, Transform, Load) 과정을 통해 머신러닝 모델을 위한 Dataset을 만들곤 합니다. 또한 다양한 데이터베이스를 사용할 경우 한곳으로 모아서 작업을 해야하는 경우가 있습니다.
  • 위와 같은 경우 여러개의 Sequential한 로직(앞의 output이 뒤의 input이 되는)이 존재하는데 이런 로직들을 한번에 관리할 필요가 있습니다!

Continue reading

Pagination


© 2017. by Seongyun Byeon

Powered by zzsza