그림 (참고4)

ML engineering hierarchy of needs

ML engineering hierarchy of needs

DevOps 가 MLOps 구축의 기반이 되듯(from2) DataOps 또한 MLOps 구축의 기반이 된다(참고5,6). 자동화된 데이터플로를 설계(참고6)하는 데이터 엔지니어링과 DataOps 는 DevOps 의 자동화 철학을 이어받는다(from3). 데이터 엔지니어가 적절한 도구들을 사용해 효율적이고 자동화된(e.g. 워크플로 프로세스 도구(from5) Airflow, 데이터 레이크 및 피처 저장소 등 다양한 저장소(from6)) ETL 데이터 파이프라인(from4)을 연결하고(참고7) 관리하는 일들 전반(from1)은 MLOps 에 속하기보다는(참고2) DataOps 에 속한다(참고1). DataOps 는 머신러닝 엔지니어들(참고2)이 MLOps 를 구축(참고3)하기 위한 기반이 된다.

AIOps 는 또 뭐야

parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.

  1. Using a feature store to connect the DataOps and MLOps workflows to enable collaborative teams

from : 과거의 어떤 생각이 이 생각을 만들었는가?

  1. ‣
  2. MLOps는 DevOps의 자동화 철학에 더해 데이터나 모델링과 관련된 요소들도 지속적으로 자동화하는 것을 의미한다.
  3. 데이터 엔지니어링과 데이터 과학 부문에서도 SWE 모범 사례, DevOps 모범 사례를 따라야 한다.
  4. [ba2.4_1.1_1.1. title: 데이터 ETL([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59)Data Extract, Transform, Load (ETL)](https://janghoo.notion.site/Data-Extract-Transform-Load-ETL-767c8e7be3384c86862c0f6b33cc9260)) 을 거친 결과물은 데이터 웨어하우스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data warehouse (DW)](https://janghoo.notion.site/Data-warehouse-DW-555519fa404e4a7dbd2784794fc6454f))에 저장되기도 하고 특징 저장소([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Feature Store](https://janghoo.notion.site/Feature-Store-15843dbb6be94c1d9cfffe6427cc64a6))에 저장되기도 한다.](https://janghoo.notion.site/ba2-4_1-1_1-1-title-ETL-7940f582afe84466bf469bdb19368134)
  5. [ba2.4.5. title: 워크플로 프로세스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Workflow process](https://janghoo.notion.site/Workflow-process-f6a3da8b300645d48488cb40ba8fd202)) 혹은 워크플로우 오케스트레이션 도구는 다양한 형태의 작업들의 복잡한 의존관계를 관리하고, 작업들이 분산되어 처리되도록 관리하는 역할을 수행한다.](https://janghoo.notion.site/ba2-4-5-title-2da8ef4a10e346d280e0bc73469913c2)
  6. ‣

supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?

  1. bb7.1.1.2_1.2__4. title: title: 아파치 빔(Apache Beam)은 분산 데이터 처리 런타임 구동 표준을 만들려는 시도이다.