Smart Big Data

연결 사회와 빅데이터 분석 수요의 증가

세상은 네트워크로 연결된 ICT 시스템들이 지탱하고 있으며, 그 시스템을 안정적이고 품질 높게 운용하는 것은 더욱 어려워지고 있습니다. 모든 사람의 일상사에 광범위하게 스며든 스마트폰이 끊임없이 텔레콤 네트워크에 연결되어 ICT 시스템과 통신을 하며 사용자들을 지구 반대편까지 연결해주고 있습니다. 한발 더 나아가 만물이 연결된 사물통신(IoT, Internet of Things) 시대가 열리게 되어, ICT 시스템을 운용하는 것은 더욱 어려운 일이 되고 있습니다.

뿐만 아니라 모든 것을 클라우드에 저장해두고 원격 네트워크를 통해서 서비스를 받는 형태로 ICT 시스템을 활용하는 방식도 바뀌고 있습니다. 대규모 클라우드 센터를 효율적으로 구성을 위해 서버에서 네트워크까지 모든 것을 가상화하려는 기술적인 흐름과 겹쳐져서, ICT 운용을 담당하는 부서가 마주친 운용의 복잡도와 난이도는 기하급수적으로 늘어나고 있습니다.

이미지1

㈜ 모비젠은 대규모 ICT 시스템에 대한 운용 및 관리를 위한 고성능 대용량 시스템을 개발하고 공급해 왔습니다. IoT 및 클라우드, 가상화로 겹겹이 쌓인 대규모 ICT시스템을 효과적으로 운용해야 한다는 난제를 풀기 위해서, 모비젠 연구소가 추구하는 기술적인 돌파구는 다음과 같은 것들입니다.

빅데이터 데이터베이스

대규모 ICT 시스템은 무수히 많은 빅데이터를 쏟아내고 있습니다. 초고속 텔레콤 네트워크, 스마트 공장 시스템, 스마트 그리드 전력 시스템, 스마트 빌딩, 스마트 u-City, 스마트 u-Health, 인텔리전트 도로망 등 대규모 빅데이터를 생산하는 ICT 시스템은 무수히 많으며, 앞으로 IoT에 의해서 ICT 시스템에 연결되는 장치의 수가 늘어날 때마다 데이터 량도 비례해서 기하급수적으로 늘어나고 있습니다.

이미지2

스토리지 매체의 가격이 낮아지고, 네트워크 대역폭의 비용이 지속적으로 줄어들고 있지만, 데이터의 증가폭이 그것보다 훨씬 높기 때문에, 늘어나는 빅데이터를 수용하는 것 자체가 도전적인 과제입니다. 기존 DBMS로 수용하기 힘든 대규모 빅데이터를 수용하기 위해서, 분산 DBMS를 만들고 실시간 처리를 위한 특별한 아키텍처로 데이터를 처리하지 않으면 데이터 수용 자체가 불가능한 수준의 초대용량 데이터 처리에 필요한 기술을 지속적으로 개발하고 대응해야만 합니다.

압도적인 데이터 용량 때문에, ICT 시스템 운용자는 기초적인 데이터 처리조차도 쉽지 않은 상황입니다. 하둡(Hadoop)으로 대변되는 각종 빅데이터 플랫폼이 난무하고 있지만, 운용자들에게 또 다른 복잡도를 가중시킬 뿐 별다른 가치를 제공하지 못하고 있습니다. 거대 ICT 운용자들이 우선적으로 필요로 하는 것은 견고하고 단순하고 쉬운 방법으로 거대 규모의 빅데이터를 다룰 수 있도록 도와주는 도구 입니다. 빅데이터, 분산환경에서는 단순 저장, 기본 통계, 기본 검색 등의 기본적인 수요부터 만족을 시키는 것이 쉽지 않기 때문입니다.

모비젠의 IRIS 빅데이터 데이터베이스 플랫폼은 이러한 상황에서 운용자들의 어려움을 해결하기 위한 성능, 용량, 단순, 견고함, 편의성을 보장하는 솔루션으로서 향후에도 지속적으로 증가하는 데이터 용량과 성능의 이슈를 해결하는 핵심 플랫폼이 될 것입니다.

빅데이터 로그분석기

대규모 ICT 시스템 운영을 위해 필요한 필수적인 업무가 바로 로그(Log)를 수집하고 분석하는 것입니다. 특히 네트워크로 다수의 ICT 시스템이 연결되어 있고, 가상화된 서버와 가상화된 네트워크(SDN, Software Defined Network), 가상화된 데이터센터(SDDC, Software Defined Data Center)등이 보편화 되면서, 시스템을 구성하는 컴포넌트들이 더욱 복잡해 지고 있습니다.

이미지3

운용자들이 시스템을 이해하고 관리를 할 수 있으려면, 모든 컴포넌트에서 발생하는 전수 로그(Log)를 수집하여 단일 시스템으로 통합 저장하고 분석할 수 있는 기반이 마련되어야 할 것입니다.

운용자들이 로그(Log)를 다루는 것은 일반인들이 텍스트나 문서를 다루는 것과 비슷한 면도 있지만, 데이터 유입과 동시에 색인을 만들어야 한다는 실시간 색인의 요구나, 실시간 통계를 만들어야 한다는 면에서 일반 텍스트 색인/검색과 다른 면이 있습니다. ㈜ 모비젠의 분산형 로그 분석기는 대규모 ICT 시스템 운용 시 수집되는 빅데이터 로그를 처리하기에 적합하도록 실시간 색인을 초점에 맞춘 시스템을 개발하고 공급하고 있습니다.

ICT 운용관리 시스템 뿐만 아니라 각종 보안 감시 시스템, 공장 자동화 시스템, 물류 시스템 등 다양한 시스템들이 대형화 되고 상호 연결되어 감에 따라, 대규모 분산형으로 로그(Log)를 처리해야 하는 수요는 급속도로 증가하고 있습니다.

지능화된 전문가 시스템의 필요

대규모 ICT 시스템 운용을 더욱 효과적으로 하기 위해서는, 시스템 전체를 이해하고 그것을 바탕으로 장애나 이상징후를 발견한다거나, 개선점을 찾아내는 전문가적인 관점이 필요합니다.

시스템의 복잡도 증가로 더 이상 시스템 전체를 커버하는 전문가를 찾기 어려워진 상황에서 현실적인 대안은 지능화된 분석 시스템이 자동화된 방법으로 분석을 보조해 줌으로써 운용자들의 부담을 덜어주는 것입니다.

이미지4

빅데이터를 기반으로 하는 자동화된 전문가 시스템은 “이상 징후”의 탐색(Anomaly Detection), 시계열 데이터의 분석을 통한 “예측”(Time Series Prediction), 다양한 변수들의 상관 관계 분석을 통한 “실제 원인 분석”(Root Cause Analysis) 등 다양한 영역에서의 빅데이터 분석을 가능하게 하며, 이로 인하여 대규모 ICT 시스템을 운용하는 담당자들이 훨씬 수월하게 관리 업무를 수행할 수 있습니다.

모비젠은 고급분석(Advanced Analytics) 방법론에 대하여 지속적인 연구를 진행하고 있으며, 이를 현업에서 발생하는 실제 데이터를 통해 실증하고 적용함으로써, ICT 운용자들이 시스템 전체에 대하여 종합적으로 판단할 수 있는 인사이트를 제공합니다.