Big Data DB Cluster

SQL을 지원하는 빅데이터 DB Cluster 데이터 분석 & 새로운 가치 발견
SQL을 지원하는 빅데이터 DB Cluster 데이터 분석 & 새로운 가치 발견

제품개요

IRIS Big Data DB Cluster 는 기술과 비용의 문제로 기업 내부에서 제한적으로 활용되거나 미활용되고 있는 대량의 데이터를 실시간으로 분석하여 새로운 가치를 창출할 수 있는 환경을 제공합니다. IRIS DB는 분산 아키텍처의 빅데이터 플랫폼으로서, Hybrid 방식의 분산 병렬 DB Cluster 입니다. 단일 노드 DBMS와 달리 데이터를 분산하여 저장하고, 분산된 각 노드에서 개별적으로 SQL처리를 수행함으로써, 일반 DBMS에서 수용할 수 없는 빅데이터의 실시간 처리를 가능하게 합니다. IRIS DB의 이중화된 마스터 노드는 분산과 조합을 통제하며, 스토리지, 메모리, CPU를 별도로 보유하는 각 데이터 노드는 SQL연산을 병렬로 처리함으로써 부하 분산과 고속 연산을 가능하게 합니다. IRIS DB는 또한 확장성 (Scalability) 측면에서 수평적 증설 (Scale-out)을 지원하기 때문에, 용량을 확장할 경우에는 서비스 운용중인 상태에서도 손쉽게 데이터 노드를 추가 증설할 수 있도록 설계되어 있습니다.

IRIS DB의 Converged Software Architecture

IRIS DB는 메모리기반의 데이터 실시간 처리, 대용량 데이터 분산 처리 등의 기술을 기반으로, 실시간 데이터 분석 및 상관관계 분석, 빅데이터 검색 및 통계, 비정형 데이터의 배치 분석 등을 위한 최적의 환경을 제공하고 있습니다. 또한, 다양한 알고리즘이 적용된 고급 분석 엔진이 탑재되어 이상 징후 탐지, 시계열 예측 등 비즈니스 요구에 신속히 대응할 수 있는 고급 분석 환경을 제공합니다.

특징 및 장점

빅데이터의 실시간 처리를 위한 분산 DB Appliance

IRIS DB는 최근 발생된 데이터를 메모리 상에서 사용자가 정의한 일정 기간 동안 유지하여 실시간 검색 요구에 대한 데이터를 즉시 제공하며, 장기 분석을 위한 데이터는 블럭 파일 단위로 디스크에 저장하는 Hybrid 구조를 지원하므로, 실시간 상관분석 및 검색은 물론, 비정형 데이터의 배치 분석이 가능합니다.

Master Node/Data Node 형태의 분산 구조

Hybrid 구조의 데이터 처리

  • In-memory 기반의 실시간 데이터 처리
  • HDD상에서 빅데이터의 배치 처리

정형 데이터 및 비정형 데이터 지원

In-memory 기반의 대용량 데이터 실시간 색인 생성

IRIS DB는 지난 10여 년의 대량 데이터 고속 처리 경험을 기반으로 자체 개발한 실시간 색인 생성 기술이 적용되어, 대형 고객 사이트에서 초당 1백만 ~ 1천만 레코드에 대한 실시간 색인을 성능 저하 없이 처리함으로써 충분히 검증되고 안정화된 시스템입니다.

In-memory 기반의 대용량 데이터 실시간 색인 생성

검색 및 분석 인프라 통합을 통한 자원의 효율성 극대화

IRIS DB는 고효율 압축기술을 적용하여 데이터를 압축하고 불필요한 중복 저장을 방지함으로써, 기존의 오픈 소스 빅데이터 플랫폼에 비하여 데이터 저장 용량을 최대 3배 이상 증가시킬 수 있으며, 이로 인한 빅데이터 소유비용을 획기적으로 절감시킬 수 있습니다.

대형 사이트(예, 1일 100TB 이상 데이터 발생)에서 검증된 자체 개발 검색 및 분석 통합 엔진

데이터의 압축 기술 제공 및 불필요한 중복 저장 방지로 저장 용량 극대화

검색 및 분석 인프라 통합을 통한 자원의 효율성 극대화

SQL 기반의 대용량 데이터 분산 조회

IRIS DB는 표준 SQL을 지원하므로 대규모 분산 DB를 SQL로 손쉽게 접근할 수 있습니다.

ANSI 92 SQL을 지원하므로, 기존 RDBMS 사용자도 대용량 데이터에 접근이 용이함

분산 테이블간의 Join 기능 지원

SQL 기반의 대용량 데이터 분산 조회

데이터 다중화를 통한 안정성 확보 및 부하 분산

입력된 데이터는 마스터 노드의 관리하에, 물리적으로 분리된 데이터 노드의 디스크에 이중화되어 저장됩니다. 따라서, 특정 데이터 노드에 장애가 발생한 경우에도 데이터 유실을 방지할 수 있으며, 데이터 처리를 위한 부하가 각 노드에 분산되므로 성능 저하를 방지할 수 있습니다.

입력 데이터의 다중 분산 저장을 통한 안정성 확보 및 부하 분산에 기여

데이터 다중화를 통한 확보 및 부하 분산

수평적 증설 (Scale-out) 지원

IRIS DB 시스템 운용 중에도 데이터 노드를 추가하면 Master Node가 이를 감지하여 자동으로 해당 노드에서 데이터 저장 및 연산이 이루어집니다. 따라서, 용량 증설을 위하여 서비스를 중단할 필요가 없습니다.

스케일아웃이 가능한 분산 구조로 서비스 무정지 상태에서 용량 증설 및 노드 추가 장착이 용이

수평적 증설 (Scale-out) 지원

IRIS DB의 진화와 혁신

IRIS DB는 국내 최대 용량의 데이터 처리실적을 보유하고 있으며, 시장의 트랜드와 고객의 다양한 요구사항을 만족하기 위하여 끊임없이 진화하고 있습니다.

데이터 수용 용량과 TCO 절감을 고려한 비용대비 효율성을 고려한 하드웨어의 진화

모비젠은 급증하는 데이터를 수용하기 위하여, 세대가 진화할 수록 용량과 성능이 2~3배 개선된 IRIS DB의 모델을 지속적으로 출시하고 있습니다. 특히, IDC 등 공간과 전력 요구의 최소화를 필요로 하는 고객을 위하여, 단위부피당 밀도가 높고 전력사용량이 현저히 적은 서버로 제품을 패키지화하는 노력을 지속적으로 추진하고 있습니다.

데이터 수용 용량과 TCO 절감을 고려한 비용대비 효율성을 고려한 하드웨어의 진화

고급 분석 엔진의 기본 탑재를 통한 ‘One-stop-shop’ 빅데이터 솔루션으로의 진화

모비젠은 전통적인 빅데이터의 습득, 저장, 분석 등 기본적인 기능은 물론, 이상 징후 탐지(Anomaly Detection), 시계열 데이터의 분석을 통한 예측(Time Series Prediction) 등 고급 분석 기술에 대한 지속적인 연구를 진행하고 있으며, 이를 기반으로, 통합 Business insight 환경을 제공하기 위하여 다양한 기술이 적용된 고급 분석 엔진들을 개발하여 IRIS DB에 탑재하고 있습니다.

고급 분석 엔진의 기본 탑재를 통한 ‘One-stop-shop’ 빅데이터 솔루션으로의 진화

IRIS DB 기반의 오픈소스 빅데이터 플랫폼으로의 진화

IRIS DB는 오픈소스 프레임워크에 대하여 단일 데이터 저장소 역할을 수행하며, Spark을 포함한Hadoop 에코시스템 등의 오픈소스 프레임워크과 통합하여 오픈소스 빅데이터 플랫폼으로 활용할 수 있습니다. 특히, 분 단위 미만의 짧은 반응 속도를 필요로 하는 작업의 경우, IRIS DB는 탁월한 투자비용 절감 효과를 제공합니다.

IRIS DB 기반의 오픈소스 빅데이터 플랫폼으로의 진화

응용 분야

IRIS DB는 빅데이터의 수집, 저장 및 분석을 위하여 필요한 다양한 분야에서 응용하여 적용할 수 있습니다.

데이터 웨어하우스 (Data Warehouse Acceleration)

기존의 데이터 웨어하우스 확장 및 빅데이터 수용

기존 시스템과의 효과적인 역할분담으로 비용절감 및 성능향상

이동통신 데이터웨어하우스 구축사례

자동화 공장 빅데이터 분석 (Manufacturing)

생산라인 자동화 기기 장비 로그 분석 검사/측정 장비 로그

사물인터넷 (loT Platform)

loT의 대용량 원시데이터 저장, 검색, 통계분석

전력 원격검침 데이터 저장 및 시계열 예측 분석 PoC 구축

인터넷 로그 분석 (e-Commerce)

인터넷 상거래 시스템 통계분석

사용자 성향분석

보안 (Security)

웹/보안 로그 저장/ 통계분석/ 이상패턴감시/ 침입탐지/ APT탐지

KISA보안로그 분석 및 정보공유 시스템 구축

금융사 FDS(Fraud Detection System)솔루션과 결합 가능

클라우드 센터의 PaaS (DBMS as a Service)

클라우드 센터에서 소용량 다수의 사용자들을 위한 PaaS DBMS 구축가능

네트워크 : Network Management (NMS/OSS)

이동통신 패킷분석 로그데이터 기반 장비관리 및 망관리

통신사 고객경험 품질 NMS/OSS 구축에 활용

정부 / 공공 (Government, Public Service)

재난 안전망 관련 재난안전망 관리 및 위치정보 기반 재난예측 컨설팅

해수부 이네비게이션 시스템 빅데이터 플랫폼 컨설팅

빅데이터 플랫폼 기반 기상데이터 저장 및 분석 컨설팅

각종 공공데이터 저장 및 분석

NIA 빅데이터 분석 플랫폼 구축

레퍼런스

모비젠은 풍부한 경험의 빅데이터 전문 인력 및 검증된 빅데이터 솔루션을 기반으로, 대규모 IRIS DB 공급 프로젝트 (1일 약 1,000억건, 2 PB 규모), 대형 하둡 클러스터 구축 및 운용(약 800대 하둡 서버에서 6PB 데이터 처리) 등 다양한 산업 분야에서 대형 프로젝트들을 수행하고 있습니다.

레퍼런스

텔레콤 분야의 실시간 품질관리

-  4G LTE 패킷 데이터 수집 및 저장

-  일일 천억 레코드 데이터 처리

-  가입자 단위 서비스 품질관리 및 실시간 모니터링

-  고객 마케팅을 위한 데이터 분석

금융사 전사 로그관리 시스템

-  개인정보 조회 이력 검색

-  데이터 Governance 지원

-   IT 투자 효율성 제고

대규모 DW 용량 확장

-  대규모 DW 시스템 확장 증설

-  텔레콤 과금 검증 시스템

수상실적

Good Software 인증

Good Software 인증획득

국내 최초로 빅데이터 DB관련 GS(Good Software)인증을 획득하였으며 신소프트웨어 대상 지식경제부 장관상을 수상함으로써 IRIS의 우수성을 인정받았습니다.

신소프트웨어 인증

신소프트웨어 대상수상

일간 백억 레코드 이상의 데이터를 처리하는 시스템 다수에 IRIS DB Cluster를 적용하여 성공적으로 실시간 분석을 할 수 있음을 증명하였습니다.