Azure Data Lake Storage Gen2Data Lake는 일반적으로 Blob 또는 파일로 저장된 해당 기본 형식의 데이터 리포지토리Azure에 구축된 빅데이터 분석을 위한 포괄적이고 확장성이 있는 비용 효육적인 Data Lake 솔루션파일 시스템과 스토리지 플랫폼을 결합하여 데이터에 대한 인사이트를 빠르게 파악할 수 있도록 지원Azure Blob 스토리지 기능을 기반으로 하여 특히 분석 워크로드에 맞게 최적화분석 성능, Blob 스토리지의 계층화 및 데이터 수명 주기 관리 기능, Azure Storage의 고가용성, 보안 및 내구성 기능을 사용할 수 있음.이점수백 기가바이트의 처리량을 안전하게 처리하면서 엑사바이트 규모의 데이터의 양과 다양성을 처리하도록 설계되어 Data Lake Stora..
자료 원문 Introduction to data engineering on Azure - TrainingThis module describes how Microsoft Azure provides a comprehensive platform for data engineering.learn.microsoft.com 데이터 엔지니어링 데이터 유형 구조적주로 관계형 데이터베이스와 같은 테이블 기반 원본시스템 또는 CSV파일과 같은 플랫 파일에서 가져온다.행과 열이 파일 전체에서 일관되게 정렬 됨 반 구조적원본 시스템에 로드하기 전에 평면화해야 할 수 있다.평면화할 때 이 데이터는 테이블 구조에 깔끔하게 맞출 필요가 없다.ex. JSON 비 구조적표준 관계형 모델에 부합되지 않는 key-value로 저장된 데이터..
데이터 레이크(Data Lake)대규모 데이터 분석 처리 시나리오 에서 공통으로 나타나는 요소로, 대량의 파일 기반 데이터가 수집되어 분석된다.데이터 웨어하우스(Data Warehouse)읽기 작업에 최적화된 관계형 스키마 데이터를 저장하는 확립된 방법데이터 레이크하우스(Data Lakehouse)DataLake의 유연하고 확장성 있는 스토리지와 DataWarehouse의 관계형 쿼리 의미 체계가 결합된 형태 Data Warehouse와 Data Lakehouse의 차이 DataLakeData Warehouse유형정형, 반 정형, 비 정형관계형, 비관 계형정형관계형스키마읽기 시 스키마쓰기 시 스키마Format원시필터링되지 않음처리됨, 점검됨원본빅 데이터, IoT, 소셜미이더, 스트리밍 데이터응용 프로그램..
스토리지 모드Microsoft Power BI Desktop에서는 테이블의 스토리지 모드를 지정할 수 있다. 스토리지 모드를 사용하면 Power BI Desktop이 보고서용 메모리 내 테이블 데이터를 캐시하는지 여부를 제어할 수 있다.* 캐싱은 일시적으로 메모리에 데이터를 저장하는 것을 의미한다. 1. ImportPower BI의 기본 옵션으로 제공되는 방식데이터 원본을 복사해서 pbix파일 내에 In - Memory 형태로 저장만들어둔 보고서를 Power BI 서비스 상에 게시하는 경우에는 pbix파일 내에 위치했던 데이터가 클라우드 환경으로 자동으로 올라간다.원본 데이터의 양이 커질수록 데이터를 새로고침하는 속도가 현저히 낮아질 수 있다.Power BI의 다양한 기능을 사용할 수 있다는 편의성과 단..
