데이터 웨어하우스, 데이터 마트, 데이터 레이크

데이터베이스를 가르키는 3가지 스타일. 빅데이터를 지탱하는 기술이라는 책을 읽어봐야겠다.

1️⃣ 데이터 웨어하우스(Data Warehouse)

• 대량의 데이터를 장기보존 하는 것에 최적화. 대용량 데이터에 특화.
• 데이터를 다양한 원천에서 수집하여 주제별로 저장
• 다양한 원천에서 발생하는 데이터를 소비자에게 전달하기 전에 통합하여 저장하는 공간

2️⃣ 데이터 마트(Data Mart)

• 데이터를 활용하기 위한 형태 거의 그대로 데이터를 쌓아두는 공간
• 상세한 단위로 데이터를 저장하고 사용한다
• 집계성 또는 시각화를 위한 작은 데이터를 만들어주는 과정 → 시각화 툴과 연동되어 사용가능

데이터 웨어하우스의 구축 사례. 출처 : https://livetodaykono.tistory.com/85

3️⃣ 데이터 레이크(Data Lake)

• 하나의 통합된 형태로 정제한 DW와 달리, 다양한 형태 그대로 한 곳에 저장하는 공간
• 모든 데이터가 테이블의 설계를 기반으로 만들어진 게 아니기 때문에 여러 유입경로로 흘러들어오는 데이터를 저장
• 데이터를 먼저 적재하고 나서 데이터 마트 등으로 변환하는 과정

데이터 레이크의 프로세스 예시. 출처 : https://livetodaykono.tistory.com/85

 

참고

• https://livetodaykono.tistory.com/85
• https://ehyun0128.github.io/miscellaneous/dm_dw_dl/