ba2.4_1.1. title: 데이터 레이크(@@@@SW Environment MLOps Data Lake)와 데이터 웨어하우스(@ Data warehouse (DW))는 데이터가 정제되었는지 정제되지 않았는지, 얼마나 엄격한지 얼마나 느슨한지로 나뉜다. 데이터 웨어하우스가 고수준이다.

그림 (참고1)

Figure 2. Main components and workflow in feature store

데이터 레이크([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data Lake](https://janghoo.notion.site/Data-Lake-a848d505cac248fa82e823c39165c389))는 정말 날것의 데이터, 즉 ‘원시 데이터’ 를 저장하는 저장소이다(참고2). 정말 수많은 온갖 데이터, 로그들이 데이터 레이크에 잔뜩 쌓인다(참고4). 반면, 데이터 웨어하우스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data warehouse (DW)](https://janghoo.notion.site/Data-warehouse-DW-555519fa404e4a7dbd2784794fc6454f))에는 전처리가 완료되어 특정한 의미를 가지는 특징 묶음(feature group (feature set))이 저장되고, 그 특징 묶음을 설명하는 메타데이터는 메타데이터 스토리지에 차곡차곡 저장된다(참고2).

그림 (참고3)

Data warehouse versus feature store

Data warehouse versus feature store

이러다 보니 데이터 웨어하우스는 데이터의 품질 측면에서 고수준(high-quality)인 경향이 있다.

parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.

데이터 엔지니어링에선 데이터 ETL(Extract, Transform, Load) 과정을 통해 데이터를 가공하며 적재함. 머신러닝 분야에서도 모델 학습용 데이터 전처리, Train, Prediction시 사용 가능. 위와 같은 경우 여러개의 Sequential한 로직(앞의 output이 뒤의 input이 되는)이 존재하는데 이런 로직들을 한번에 관리해야 함.

from : 과거의 어떤 생각이 이 생각을 만들었는가?

None

supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?

[ba2.4_1.1_1.1. title: 데이터 ETL([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59)Data Extract, Transform, Load (ETL)](https://janghoo.notion.site/Data-Extract-Transform-Load-ETL-767c8e7be3384c86862c0f6b33cc9260)) 을 거친 결과물은 데이터 웨어하우스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data warehouse (DW)](https://janghoo.notion.site/Data-warehouse-DW-555519fa404e4a7dbd2784794fc6454f))에 저장되기도 하고 특징 저장소([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Feature Store](https://janghoo.notion.site/Feature-Store-15843dbb6be94c1d9cfffe6427cc64a6))에 저장되기도 한다.](https://janghoo.notion.site/ba2-4_1-1_1-1-title-ETL-7940f582afe84466bf469bdb19368134)
[ba2.4_1.1.1_1. title: 전체 파이프라인 관점에서는 ELT([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Extract, Load, Transform (ELT)](https://janghoo.notion.site/Extract-Load-Transform-ELT-ac69bfc53bdc4fb0949aea6d805be80c)), 데이터 레이크([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data Lake](https://janghoo.notion.site/Data-Lake-a848d505cac248fa82e823c39165c389))에서 데이터 웨어하우스([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59) Data warehouse (DW)](https://janghoo.notion.site/Data-warehouse-DW-555519fa404e4a7dbd2784794fc6454f))를 향하는 관계는 ETL([[[SW Environment](https://janghoo.notion.site/Environment-d73d08b95a824b3f957eb0134f8ced1f) MLOps](https://janghoo.notion.site/MLOps-1be9e881d5444f268fde8c1ea7e00f59)Data Extract, Transform, Load (ETL)](https://janghoo.notion.site/Data-Extract-Transform-Load-ETL-767c8e7be3384c86862c0f6b33cc9260))이다.](https://janghoo.notion.site/ba2-4_1-1-1_1-title-ELT-ETL-55cf630cb5344148a5e6d9f02e4666bb)

opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?