워크플로우 프로세스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Workflow process](https://janghoo.notion.site/Workflow-process-f6a3da8b300645d48488cb40ba8fd202)) 도구의 핵심은 세 가지라고 할 수 있다.

첫째, 워크플로우 프로세스는 작업들의 복잡한 의존관계를 관리할 수 있어야 한다. 복잡한 의존관계라고 함은 단순한 파이프라인이 아닐 수 있다는 말이다. 둘째, 워크플로우의 의존관계를 구성하는 요소들은 파일에 국한되지 않아야 한다. 프로그램이나 함수의 출력값에 의존할수도 있고(참고2), 데이터베이스에 의존할수도 있다(from2,3:파일과 데이터베이스는 다르다). 셋째, 작업들이 분산되어 처리될 수 있도록 자원을 관리할 수 있어야 한다.

parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.

1. Understanding

   Unlocking MLOps using Airflow: A Comprehensive Guide to ML System Orchestration

from : 과거의 어떤 생각이 이 생각을 만들었는가?

1. ‣
2. ‣
3. ‣

supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?

1. ‣
2. ba2.4.5.2. title: 안정성이 장점인 airflow, 간단함이 장점인 prefect, dagster 은 모두 각 작업의 선후관계를 엮어주는 방식으로 작동한다. airflow, dagster 런타임에 변경이 어려운 DAG 형태로 워크플로를 정의하지만 prefect 는 조금 더 동적이다.
3. ‣
4. bb7.1.1.2_1.2__4. title: title: 아파치 빔(Apache Beam)은 분산 데이터 처리 런타임 구동 표준을 만들려는 시도이다.
5. ba2.4.5.4. title: TFX와 같이 아파치 빔을 백엔드로 활용하는 프레임워크를 사용한다면 아파치 빔(beam)을 파이프라인을 실행하는 오케스트레이션 도구로 사용할 수 있다. 하지만 다양한 기능을 지원하지는 않는다.