less than 1 minute read

airflow가 뭐지?Permalink

빅데이터 처리를 할때 주기적으로 해야 하는 업무 들이 있는데 이걸 해주는 솔루션(?) 정도로 생각하면 될듯하다.
예전에는 우분투 서버에 crontab을 이용해서 주기적으로 실행 했었는데 이게 귀찮았는지.. ㅋㅋㅋ
도커에서 돌려서 공유 하다가…
이제는 이걸 하나의 플렛폼으로 만든것 같다.
필자는 빅쿼리에서 사용하는걸 써보고 있는데.. 내가 하는 삽질의 양을 획기 적으로 줄여 주는것 같다. ^^
https://cloud.google.com/composer?hl=ko

airflow 링크들Permalink

https://github.com/apache/airflow
https://airflow.apache.org/docs/apache-airflow/stable/
요약 잘된곳
airflow-python정리된곳
airflow-bigquery