1) HPE Ezmeral 제품군 소개
컨테이너 플랫폼
지원OS : RHEL, SUSE
HPE Ezmeral
Runtime
Enterprise
Essentials
Runtime
Enterprise
Essentials
HPE Ezmeral ML Ops
HPE Ezmeral
Runtime
Enterprise
Runtime
Enterprise
HPE Ezmeral
Unified
Analytics
(Spark)
Unified
Analytics
(Spark)
MLOps 기능
빅데이터 플랫폼
HPE Ezmeral Data Fabric
지원OS : RHEL, SUSE, Ubuntu,
Oracle Enterprise Linux
Oracle Enterprise Linux
HPE Ezmeral Data Fabric Analytics Premium Package
HPE Ezmeral Data Fabric Analytics Standard Package
HPE Ezmeral Data Fabric Analytics for Apache Spark
HPE Ezmeral Data Fabric Analytics Standard Package
HPE Ezmeral Data Fabric Analytics for Apache Spark
HPE Ezmeral Data Fabric File and Object Store(Core)
HPE Ezmeral Data Fabric Community Edition(개발용)-무료
2) DATA FABRIC 주요연혁 및 제품 출시 현황
"2019년 8월 HPE(Hewlett Packard Enterprise)에서 MapR Technologies를 인수하였으며,
MapR Technologies는 2009년 미국 산호세에서 시작되어 엔터프라이즈 환경이 요구하는 신뢰성 높은 빅데이터 플랫폼을 제공하는 회사로
빅데이터 플랫폼 시장에서 가장 많은 유료 고객을 확보하고 있습니다."
MapR Technologies는 2009년 미국 산호세에서 시작되어 엔터프라이즈 환경이 요구하는 신뢰성 높은 빅데이터 플랫폼을 제공하는 회사로
빅데이터 플랫폼 시장에서 가장 많은 유료 고객을 확보하고 있습니다."
3) HPE Ezmeral DATA FABRIC 데이터 플랫폼을 활용한 사례
4) HPE Ezmeral DATA FABRIC 핵심 기능 및 특징
HPE Ezmeral Data Fabric 단일 데이터 플랫폼은 엔터프라이즈 수준의 안정성,
무충단 스케일 아웃이 가능한 확장성, 안정적인 파일시스템을 기반으로 제공하는 저장 및 접근에 대한 가장 우수한 성능, 실시간 데이터 수집 및 유연한 연계
데이터 적재 노드에서의 분석 수행을 통한 빠른 실행 환경을 제공합니다.
무충단 스케일 아웃이 가능한 확장성, 안정적인 파일시스템을 기반으로 제공하는 저장 및 접근에 대한 가장 우수한 성능, 실시간 데이터 수집 및 유연한 연계
데이터 적재 노드에서의 분석 수행을 통한 빠른 실행 환경을 제공합니다.
핵심 기술 요소 - 실시간성, 최고의 안정성
· 분산 파일 시스템 - HPE Ezmeral Data Fabric(Data Fabric)-XD
· NoSQL DB 시스템 - HPE Ezmeral Data Fabric(Data Fabric)-DB
· 글로벌 메세징 시스템 - HPE Ezmeral Data Fabric(Data Fabrid)-ES
· NoSQL DB 시스템 - HPE Ezmeral Data Fabric(Data Fabric)-DB
· 글로벌 메세징 시스템 - HPE Ezmeral Data Fabric(Data Fabrid)-ES
대용량 실시간 고속 처리
· 대용량 분산 병렬 처리 지원
· 정형 및 비정형 등의 다양한 데이터를 통한 대규모 분석 및 기계 학습 구현
· 분석 서버와 데이터노드의 비 분리 : 데이터 접근 속도 높음
· 정형 및 비정형 등의 다양한 데이터를 통한 대규모 분석 및 기계 학습 구현
· 분석 서버와 데이터노드의 비 분리 : 데이터 접근 속도 높음
무중단 스케일-아웃 : 무한대 확장성
· 수 조 단위까지 확장되는 제한 없는 파일 시스템
· 대규모 분산 처리 환경에서 대용량 데이터 고속 처리
· 대규모 분산 처리 환경에서 대용량 데이터 고속 처리
전세계 최고 수준의 안정성 - 무중단
· 중단 데이터 액세스를 지원하는 다양한 자동 복구
· 재해 복구와 스냅샷을 포함한 고 가용성 제공
· 안정적인 고객 지원 체계
· 재해 복구와 스냅샷을 포함한 고 가용성 제공
· 안정적인 고객 지원 체계
5) HPE Ezmeral DATA FABRIC 을 선택하는 맞춤형 데이터 플랫폼 아키텍처
대규모 복원력
엄격한 비즈니스 SLA를 충족하기 위해 자동 장애 조치,
스냅 샷, 파일 미러링 및 즉각적인 교차DC
복제 기능을 갖춘 엔터프라이즈 급 재해 복구 기능
글로벌 네임 스페이스
전 세계적으로 배포된 데이터에 대한 응용 프로그램 액세스를 단순화하고 관리자가 여러 개의 분산된 클러스터를 논리적 로컬 클러스터로 볼 수 있습니다.
정책 기반 데이터 티어링
어플리케이션을 위해 핫, 웜 및 콜드 데이터 계층에 걸쳐 데이터 스토리지 및 관리를 자동화하여 성능, 비용 및 용량 트레이드 오프를 최적화
범용 데이터 서비스
복원력, 가용성, 복구 및 보안 기능이 내장된 파일, 데이터베이스 및 이벤트를 제공할 수 있는 단일 분산 데이터 서비스
HA 기본 제공-분산 메타데이터
메타 데이터 및 어플리케이션 데이터의 지능적이고 자동화된 복제로 즉시 사용 가능한 고(高) 가용성(HA), 확장 가능 및 자체 치유 시스템 생성
서비스 관리 및 탐색
광범위한 어플피케이션에 필요한 필수 서비스를 지속적으로 발견하고 제공하기 위한 핵심 매커니즘 세트
Kerberos를 지원하는 유연한 인증을 통해 모든 데이터에서 통합된 보안 플랫폼
6) HPE Ezmeral DATA FABRIC 핵심 기능 및 특징
IoT / Edge Analytics 지원
때때로 연결된 장치를 위한 작은 설치 공간.
로컬 처리 및 효율적인 통신 프로토콜
로컬 처리 및 효율적인 통신 프로토콜
멀티 클라우드 지원
온프레미스(On-premise)와 클라우드(Cloud)의 일관된 데이터 관리를 통해 광범위한 분석 및 AI 기술을 통합
컨테이너 지속성 지원
컨테이너 어플리케이션이 HPE Ezmeral Data Fabric(Data Fabric)에서 데이터에 액세스하여 기업이 컴퓨팅/스토리지를 독립적 확장
AI / ML용 플랫폼
AI / ML 기술은 데이터 현지화로 GPU 최적화 된 동일한 클러스터의 POSIX 인터페이스를 통해 직접 실행
프로덕션 규모
엑사 바이트 규모의 분산 플랫폼 : POSIX, NFS, HDFS, S3, REST, JSON, KAFKA 인터페이스의 읽기 / 쓰기
다중 모델 데이터베이스
다양한 사용 사례에 대한 다중 모델 데이터베이스 구조, 부하 및 구조, 분석, AI / ML 및 데이터 웨어하우스 지원
7) HPE Ezmeral DATA FABRIC 상세 구조
Data Fabric Core & Ecosystem Pack
8) HADOOP 이란?
대량의 데이터를 보관 및 처리할 수 있는 분산 저장소 및 분산처리 프레임워크
Hadoop의 코어 기술 및 에코 시스템 기술들은 원천 기술들을 보유하고 있는 기업의 기술 공개를 통해 개발 및 발전되고 있음.
Hadoop의 코어 기술 및 에코 시스템 기술들은 원천 기술들을 보유하고 있는 기업의 기술 공개를 통해 개발 및 발전되고 있음.
| 원천기술 | Hadoop | Ezmeral Data Fabric |
|---|---|---|
| Google File System | Distributed Hadoop File System | Data Fabric File System |
| Googld MapReduce | MapReduce | MapReduce |
| Google Big Table | Hbase | Hbase |
| Google Sawzall | Hive, Pig | Hive |
| Google Dremel | Impala, Drill | Drill |
| Google Chubby | Zookeeper | Zookeeper |
| Google Borg | Mesos | Kubernetes, Myriad |
| Databricks Spark | Spark | Spark |
| Linkedin Kafka | Kafka | Data Fabric Event Stream Kafka |
9) HADOOP DISTRIBUTED FILE SYSTEM 이란?
Hadoop 클러스터 환경에서 대량의 데이터를 블럭 단위로 구분하여 분산 처리하는 분산 파일 시스템으로 읽기 작업에 최적화.
모든 블럭의 메타 정보와 파일 시스템 관리는 별도로 분리된 네임노드를 통해 유지 및 관리
모든 블럭의 메타 정보와 파일 시스템 관리는 별도로 분리된 네임노드를 통해 유지 및 관리
10) DATA FABRIC FILE SYSTEM 이란?
Hadoop API와 100% 호환성을 제공하면서도 기존의 Hadoop이 갖고 있는 병목구간, 단일 장애점(네임노드) 등의 한계점들을 해소한 고성능,
고효율의 분산 파일 시스템으로 기업환경에서 최소한의 노력의 최대의 운영효율을 얻을 수 있는 저장소
고효율의 분산 파일 시스템으로 기업환경에서 최소한의 노력의 최대의 운영효율을 얻을 수 있는 저장소
11) 단일 장애점 제거로 서비스 레벨 품질 확보
Apache Hadoop의 필수적인 요소인 네임노드는 분산환경에서 데이터 블럭의 위치와 변경사항을 관장하는 핵심 요소이나
단일 구성으로 장애와 병목의 주요 요소, Data Fabric은 네임노드를 제거한 아키텍처로 서비스 레벨의 품질 확보가 가능한 유일한 플랫폼
단일 구성으로 장애와 병목의 주요 요소, Data Fabric은 네임노드를 제거한 아키텍처로 서비스 레벨의 품질 확보가 가능한 유일한 플랫폼
12) 실시간 빅데이터와 서비스 성능 품질
현대산업에서 빅데이터 플랫폼을 통한 선제적 의사결정 환경을 구현하기 위해서는 적시성을 확보하는 것이 핵심,
Data Fabric 플랫폼은 기존 Hadoop의 아키텍처를 완전히 혁신하여 기업 수준의 적시성 확보와 기존 개발 환경과 유사항 환경을 제공
Data Fabric 플랫폼은 기존 Hadoop의 아키텍처를 완전히 혁신하여 기업 수준의 적시성 확보와 기존 개발 환경과 유사항 환경을 제공
13) 빅데이터 저장에 최적화된 DATA FABRIC-FS의 시스템 구조
Data Fabric-FS는 Random Read/Write를 위한 8KB IO단위를 갖으면서도 데이터는 효과적으로 분배되어 병렬 처리를 진행하며
GB 단위의 복제를 통해 메타 관리를 보다 간소하게 관리하는 혁신적인 빅데이터 플랫폼입니다.
GB 단위의 복제를 통해 메타 관리를 보다 간소하게 관리하는 혁신적인 빅데이터 플랫폼입니다.
14) Ezmeral DATA FABRIC-XD 특장점 - 계층 간소화 및 효율적 스토리지 관리
Ezmeral Data Fabric Data Platform은 기존 Hadoop의 아키텍처를 완전히 혁신하여 적시성 확보와 Mission-critical한 운영 환경을 제공합니다.
또한 데이터를 효율적으로 분류하여 그에 맞는 replication 방법과 맞춤형 스토리지 공간에 적재합니다.
또한 데이터를 효율적으로 분류하여 그에 맞는 replication 방법과 맞춤형 스토리지 공간에 적재합니다.
15) 엔터프라이즈 수준의 가용성 확보
국내 산업은 DW 데이터를 포함하여 모든 데이터가 미션크리티컬 데이터로 분류되는 산업으로 빅데이터 역시 데이터의 안전성 확보가 매우 중요.
Data Fabric은 이러한 기업요건을 제품에 반영하여 제품 엔진레벨에서 백업 및 HA/DR 환경을 구성
Data Fabric은 이러한 기업요건을 제품에 반영하여 제품 엔진레벨에서 백업 및 HA/DR 환경을 구성
16) 엔터프라이즈 수준의 보안 기능 제공
기업의 보안 요건을 충족하기 위해 Data Fabric은 권한, 인증, 암호화, 감사 보안 기능을 제공.
클러스터에서 파일 단위까지 미세한 보안설정으로 기업 내/외부의 플랫폼 사용자들에 대한 안전한 데이터 활용 환경을 제공, Version 7.0에서 FIPS 기능 추가
클러스터에서 파일 단위까지 미세한 보안설정으로 기업 내/외부의 플랫폼 사용자들에 대한 안전한 데이터 활용 환경을 제공, Version 7.0에서 FIPS 기능 추가
Data
Fabric
Fabric
Authorization
- ●Access Control Lists (ACLs) 관리
- ●볼륨 단위 권한 제어
- ●MapR Table 접근 권한 제어
- ●표준 UNIX 파일 시스템 퍼미션 지원
Encryption
- ●Wire-level 데이터 암호화
- ●NSA Suite B 암호화 (AES-256 및 SHA-256) 를 활용하여 표준 기반 기본 인증을 지원
- ●3rd Party 솔루션 연계를 통한 파일/컬럼 레벨
- ●암호화
- ●MapR Ticket 적용
- ●UserID & Password (PAM, LDAP)
- ●Kerberos 연동
Authentication
- ●모든 이벤트 JSON 로그파일로 저장
- ●데이터 액세스 및 관리 포함
- ●SQL과 표준 BI툴을 통한 감시로그 질의 및 커스텀 리포트 생성
Audition
17) DATA FABRIC-ES(EVENT DATA STREAMS)개요
스트림 데이터는 아직 저장되지는 않았으나 유입이 되고 있는 데이터로 빅데이터 환경에서 현재 발생되고 있는 상황이나 상태를 실시간으로 활용하고자 하는 요건이 증가.
하지만 오픈소스 Kafka 기반의 스트림 처리는 구조적 한계로 많은 이슈를 발생
하지만 오픈소스 Kafka 기반의 스트림 처리는 구조적 한계로 많은 이슈를 발생
18) 스트림 데이터의 적시성 확보
서비스업과 같은 상품성 제품들은 오퍼링의 적시성이 매우 중요한 요소로 작용합니다.
특히 시장 또는 개인의 상황을 실시간으로 파악할 수 있어야 합니다. SNS, IoT, Mobile 데이터에 대한 유실없는 안정적 스트림 처리와 고속 처리로 적시성 확보가 가능합니다.
특히 시장 또는 개인의 상황을 실시간으로 파악할 수 있어야 합니다. SNS, IoT, Mobile 데이터에 대한 유실없는 안정적 스트림 처리와 고속 처리로 적시성 확보가 가능합니다.
19) DATA FABRIC-DB 개요
Hbase는 Hadoop 환경에서 비정형 데이터를 저장하는 NoSQL 솔루션.
하지만 Hbase 구조적 한계로 인해 성능 및 안정성 확보가 매우 큰 이슈,
Data Fabric-DB는 이러한 제약 사항을 제거하여 Data Fabric FS와 DB를 결합시켜 고속으로 Schema less 데이터를 처리
하지만 Hbase 구조적 한계로 인해 성능 및 안정성 확보가 매우 큰 이슈,
Data Fabric-DB는 이러한 제약 사항을 제거하여 Data Fabric FS와 DB를 결합시켜 고속으로 Schema less 데이터를 처리
20) HPE Ezmeral 소프트웨어 플랫폼(1/2)
·
HPE Ezmeral ML Ops는 온프레미스, 여러 퍼블릭 클라우드 또는 하이브리드 모델에서 유연하게 실행하고 다양한 사용 사례에서 동적인 비즈니스 요구사항에 대응할 수 있는 엔드 투 엔드 데이터 과학 머신러닝(ML) 솔루션입니다.
HPE Ezmeral ML Ops 솔루션은 데이터 준비에서 모델 빌드, 모델 교육, 모델 배포, 협업 및 모니터링에 이르기까지 머신러닝(ML) 라이프사이클의 모든 단계를 지원합니다.
·
HPE Ezmeral Runtime Enterprise는 베어메탈 또는 가상화 인프라에서 광범위한 사용 사례를 위해 규모에 맞게 Kubernetes를 구현할 수 있는 엔터프라이즈급 플랫폼을 제공, 온프레미스, 하이브리드 및 멀티 클라우드 환경 및 에지에서 실행할 수 있습니다.
또한 HPE Ezmeral Runtime Enterprise는 영구 데이터를 사용하여 최신 어플리케이션(클라우드 네이티브 및 비클라우드 네이티브 모두)을 실행하도록 설계된 업계 최초의 컨테이너 플랫폼으로, 기업이 컨테이너형 어플리케이션 배포를 통해 어플리케이션을 보다 쉽게 관리할 수 있도록 지원합니다.
21) HPE Ezmeral 소프트웨어 플랫폼(2/2)
HPE Ezmeral Runtime Enterprise는
CNCF-Certified Kubernetes platform입니다.
CNCF-Certified Kubernetes platform입니다.
- 1. Kubernetes 최신 상용 버전
- · HPE Ezmeral Runtime Enterprise는 Open소스를 기반으로 작성된 상용 솔루션이며, 버전 또한 HPE 전용 버전을 가져갑니다. 아래는 지원되는 상용 최신 버전입니다.
- · Kubernetes version 1.21.14-hpe2
- · Kubernetes version 1.22.13-hpe2
- · Kubernetes version 1.23.10-hpe2
- 2. HPE Ezmeral Runtime Enterprise의 상용 버전의 보안 취약점 제거
- · HPE Ezmeral Runtime Enterprise는 상용 패키지를 제공하며, Kubernetes 및 포함된 패키지 소프트웨어는 기능 추가 및 CVE(Common Vulnerabilities and Exposures: 일반 취약성 및 노출) 수정이 완료된 제품으로 MITRE에서 제시한 보안에 대한 취약점을 제거된 제품을 제공합니다.
