adls

Microsoft

[Microsoft Azure] Azure Data Lake Storage Gen2 소개

2024.11.12

Azure Data Lake Storage Gen2Data Lake는 일반적으로 Blob 또는 파일로 저장된 해당 기본 형식의 데이터 리포지토리Azure에 구축된 빅데이터 분석을 위한 포괄적이고 확장성이 있는 비용 효육적인 Data Lake 솔루션파일 시스템과 스토리지 플랫폼을 결합하여 데이터에 대한 인사이트를 빠르게 파악할 수 있도록 지원Azure Blob 스토리지 기능을 기반으로 하여 특히 분석 워크로드에 맞게 최적화분석 성능, Blob 스토리지의 계층화 및 데이터 수명 주기 관리 기능, Azure Storage의 고가용성, 보안 및 내구성 기능을 사용할 수 있음.이점수백 기가바이트의 처리량을 안전하게 처리하면서 엑사바이트 규모의 데이터의 양과 다양성을 처리하도록 설계되어 Data Lake Stora..

Microsoft

[Microsoft Azure] Azure의 데이터 엔지니어링 소개

2024.11.04

자료 원문 Introduction to data engineering on Azure - TrainingThis module describes how Microsoft Azure provides a comprehensive platform for data engineering.learn.microsoft.com 데이터 엔지니어링 데이터 유형 구조적주로 관계형 데이터베이스와 같은 테이블 기반 원본시스템 또는 CSV파일과 같은 플랫 파일에서 가져온다.행과 열이 파일 전체에서 일관되게 정렬 됨 반 구조적원본 시스템에 로드하기 전에 평면화해야 할 수 있다.평면화할 때 이 데이터는 테이블 구조에 깔끔하게 맞출 필요가 없다.ex. JSON 비 구조적표준 관계형 모델에 부합되지 않는 key-value로 저장된 데이터..

[Microsoft Azure] Azure Data Lake Storage Gen2 소개

[Microsoft Azure] Azure의 데이터 엔지니어링 소개

티스토리툴바