본문 바로가기

Database

(37)
텍사노미(Taxonomy) 텍사노미(Taxanomy, Bloom's Taxonomy) '분류하다'라는 'tassein'과 '법, 과학'이라는 'nomos'의 합성으로 어원은 그리스어이다 원래는 어원 그대로 살아있는 유기체를 분류하는 과학이란 뜻이지만, 지금은 확장된 의미로서 살아있는 것 뿐만 아니라 무생물, 장소, 사건 등 ㅁ든 것을 텍소노미 스키마로 분류한 것이 텍소노미다 텍소노미는 이미 결정된 체계를 가지고 있으며, 관계형 네트워크 구조 보다는 트리형의 위계적 구조로 나타난다 예를 들면, 포탈이나 웹사이트에서 카테고리 구조나 사이트 맵은 텍소노미로 데이터를 조직한 것이다 참고 택소노미(Taxonomy)와 폭소노미(Folksonomy) 택소노미 (Taxonomy)는 ‘분류하다’라는 ‘tassein’과 ‘법, 과학’이라는 ‘nom..
데이터 파이프라인(Data Pipeline) 데이터 파이프라인(Data Pipeline) 데이터를 차례대로 전달해 나가는 구성된 시스템 데이터를 모으는 데이터 수집부터 시각화까지의 전 과정 데이터 파이프라인은 ETL을 포함하는 광범위한 용어 1️⃣ 데이터 수집 데이터는 여러 시스템에서 생성되고 각각 다른 형태 데이터의 전송 형태 Bulk Type → 이미 존재하는 데이터를 정리해 추출하는 방법. DB와 파일 서버 등 정기적으로 데이터 수집하는 형태 Streaming → 차례차례 생성되는 데이터를 끊임없이 보내는 방법. 2️⃣ 데이터 처리 데이터를 수집하고 저장하기 전에 처리하는 과정이 필요 유용하게 활용되었던 기술은 '배치(batch) 위주의 기술'. 매일 적제되는 데이터 기준, 새벽에 전 날 데이터의 실적 등을 정리하는 형태 배치 프로세스와 실시..
데이터 웨어하우스, 데이터 마트, 데이터 레이크 데이터베이스를 가르키는 3가지 스타일. 빅데이터를 지탱하는 기술이라는 책을 읽어봐야겠다. 1️⃣ 데이터 웨어하우스(Data Warehouse) 대량의 데이터를 장기보존 하는 것에 최적화. 대용량 데이터에 특화. 데이터를 다양한 원천에서 수집하여 주제별로 저장 다양한 원천에서 발생하는 데이터를 소비자에게 전달하기 전에 통합하여 저장하는 공간 2️⃣ 데이터 마트(Data Mart) 데이터를 활용하기 위한 형태 거의 그대로 데이터를 쌓아두는 공간 상세한 단위로 데이터를 저장하고 사용한다 집계성 또는 시각화를 위한 작은 데이터를 만들어주는 과정 → 시각화 툴과 연동되어 사용가능 3️⃣ 데이터 레이크(Data Lake) 하나의 통합된 형태로 정제한 DW와 달리, 다양한 형태 그대로 한 곳에 저장하는 공간 모든 데..
[R] defaults write org.R-project.R force.LANG en_US.UTF-8 오류 문제 R을 설치하고 실행했더니 아래와 같은 문제가 발생했다 검색해본 결과 locale 설정이 UTF-8이 아니라서 locale을 UTF-8로 바꿔줘야한다 해결 터미널에서 아래 명령 수행 defaults write org.R-project.R force.LANG en_US.UTF-8 출처