TFX와 같이 아파치 빔을 백엔드로 활용하는 프레임워크를 사용한다면 아파치 빔(beam)을 파이프라인을 실행하는 오케스트레이션 도구로 사용할 수 있다. 하지만 다양한 기능을 지원하지는 않는다(참고1).
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
None
from : 과거의 어떤 생각이 이 생각을 만들었는가?
- [ba2.4.5. title: 워크플로 프로세스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Workflow process](https://janghoo.notion.site/Workflow-process-f6a3da8b300645d48488cb40ba8fd202)) 혹은 워크플로우 오케스트레이션 도구는 다양한 형태의 작업들의 복잡한 의존관계를 관리하고, 작업들이 분산되어 처리되도록 관리하는 역할을 수행한다.](https://janghoo.notion.site/ba2-4-5-title-2da8ef4a10e346d280e0bc73469913c2)
- 아파치 빔은 간단한 오케스트레이션을 지원하는 분산 처리 도구이다.
- bb7.1.1.2_1.2__4. title: title: 아파치 빔(Apache Beam)은 분산 데이터 처리 런타임 구동 표준을 만들려는 시도이다.
- 하지만 아파치 빔은 애초에 워크플로 오케스트레이션을 목적으로 설계된 도구가 아니다.
- ‣
- 하둡과 스파크 등을 사용할 때 어려운 부분은 프레임워크 이외의 작업과 얽히는 것이다. 하지만 빔을 이용하면 언어 레벨에서 다른 작업과 엮을 수 있다.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
None
참고 : 레퍼런스