[Airflow] ML파이프라인 단일 DAG(Single DAG), 복합 DAG(Multiple DAGs) 장단점
머신러닝(ML) 파이프라인을 구축할 때 많은 전문가들은 전체 파이프라인을 단일 DAG(Directed Acyclic Graph)로 설계할지, 아니면 여러개로 분할할지 결정해야 합니다. 이 선택은 ML 파이프라인의 복잡성, 유지보수성, 확장성에 따라 달라질 수 있으며, 각각의 접근 방식은 장단점을 가지고 있습니다. 이 글에서는 두 가지 방법에 대한 고려 사항을 자세히 살펴보겠습니다. DAG에서 태스크 분리 단일 DAG의 장단점 장점 단점 복합 DAG의 […]
[Airflow] ML파이프라인 단일 DAG(Single DAG), 복합 DAG(Multiple DAGs) 장단점 Read More »