빅데이터 최신기술동향및구축사례 -...

빅데이터최신 기술동향 및 구축사례

-

목차

1. 빅데이터기술동향-1-1. 실시간스트림처리

1-2. 인터랙티브분석

1-3. 머신러닝및이상탐지

2. 구축사례-2-1. 통신

2-2. 방송

2-3. 금융

2-4. 서비스

2-5. 공공

3. Systeer 클라우드-3-1. BD B aaS

3-2. 빅데이터처리성능

3-3. 구축예시

-2 -

1. 최신빅데이터기술동향

하둡 10주년을 맞아 빅데이터 기술의 흐름과 앞으로의 방향을 조명해보는 시간

1-1. 실시간스트림처리 (1)

초기 분산 스트림 솔루션들은 실시간 태스크를 멀티 노드에 분배하는 기능 자체에 초점

스트리밍로직을코드로작성하여클러스터배포<HDFS 기반분산메시지큐>


코드를 작성하지 않고도 스트림 처리 로직을 설정할 수 있는 오픈소스 프로젝트 성장


스트리밍 시스템과 배치 분석 시스템의 통합 문제

실시간스트리밍과배치분석을통합하는별도의시스템을개발

스트리밍및단기간배치실행

HDFS, HBASE에통합데이터유지

필터링및집계, 복잡한분석쿼리

데이터복제부하 (디스크및네트워크)

일관된접근제어어려움데이터일관성및무결성유지어려움

실시간+배치통합로직개발부담


스트리밍 시스템과 배치 분석 시스템의 통합 문제

1-2. 인터랙티브데이터분석 (1)

빅 데이터를 이용하는 몇 가지 패턴과 일반적인 해결 방법

단순검색및조회

통계분석및리포팅

탐색적데이터분석

원본데이터검색요청

데이터전체를조건비교하면많은시간소요

원본데이터검색요청 인덱스

정렬된인덱스를통해원하는데이터에빠르게접근

원본데이터통계요청

데이터전체를집계하면많은시간소요

원본데이터

월별 SUMMARY

통계요청 주별 SUMMARY

일별 SUMMARY

원본데이터조건통계요청

데이터전체를필터링해서통계분석하면많은시간소요

기존의전처리기술은해결불가능

미리일정시간단위로가공된통계를병합하여빠르게리포팅


빅데이터 시스템에서 I/O는 성능을 결정짓는 요소

블록단위압축

고효율데이터인코딩

VARINT RLE (Run-Length Encoding)

DICTIONARY


컬럼스토리지 레이아웃은 분석 대상 컬럼 데이터만 읽을 수 있도록 지원하여 I/O 부하 감소

<Slotted Page; N-ary Storage Model> <DSM; Decomposition Storage Model>

<PAX; Partition Attributes Across> <RCFile>


오라클 12c 인메모리의 경우 기존 OLTP 특성을 유지하면서 분석만 가속하는 방식을 채택

<2014년 6월 10일발표자료>

• 컬럼지향레이아웃으로추가메모리캐싱

(테이블/파티션단위캐싱설정)

• 인메모리컬럼스캔으로분석쿼리성능향상

• 분석에필요했던인덱스삭제하여 OLTP 향상

• 기존백업/리커버리등은동일하게동작


HIVE는 초기 맵리듀스 기반에서 YARN 기반으로 컬럼지향 파일(ORC)을 최대한 캐시하는 구조로 변경

• 초기 MR 기반구조는쿼리단계별로 HDFS 입출력반복

• 쿼리오퍼레이터가레코드를 1개씩처리하여낮은성능

• 각작업이별도의프로세스로실행됨 (JVM 부팅오버헤드)

• LLAP (Live Long and Process) 데몬이온라인상태로유지됨

• 컬럼지향데이터를압축된상태로메모리에캐싱

• 멀티스레드실행으로쿼리실행속도극대화,

기존의프로세스별브로드캐스트조인복제오버헤드제거

"하둡클러스터하드웨어구성역시다수의낮은사양머신에서,vCPU 36개, 메모리 256GB 수준의고성능머신으로변화추세"


최적의 분산 처리 데이터 아키텍처가 구성되었을 때, 비로소 탐색적 데이터 분석 가능

다중노드분산병렬처리

멀티스레드실행구조

벡터화된쿼리실행

프로세서 SIMD 활용

인메모리캐싱극대화

컬럼지향압축저장

"임의조건의빅데이터분석쿼리가초단위응답시간을제공해야,사용자가알려지지않은데이터의특성및관계분석가능"

1-3. 머신러닝과이상징후탐지 (1)

2016년 3월, 알파고 대 이세돌 대국에서 알파고 승리

"단순작업뿐아니라많은학습과정확한판단을요구하는전문가영역까지인공지능의범위가확장되고있음"

이미지분류 안면인식 음성인식 자동번역 상품추천


빅데이터와 머신러닝의 결합

입력데이터출력

(분류, 예측치)

"빅데이터는구체적인의사결정을도와줄수있을때가치가있으며,분석및수작업과정을자동화혹은단축시키는것이머신러닝의역할"

이카드결제요청은정상인가? 부정사용인가?

제품불량에영향을미치는요인은무엇인가?

어느설비가가장고장날확률이높은가?

이고객은서비스계약을해지할까?


규칙 기반 시스템에서 학습 기반 시스템으로 전환

AS-IS: 규칙기반시스템 TO-BE: 학습기반시스템

임계치

분류조건

스코어링

군집화

자동분류

시계열예측

<시계열데이터대상이상치분석예시><각관측치의상대적인밀도분석> <군집분류>


대규모 인프라를 보유한 서비스 업체들은 이미 이상징후탐지 시스템을 자체적으로 개발하여 활용 중


빅데이터와 머신러닝이 결합된 데이터 아키텍처의 미래

실시간수집

스트림엔진분산메시지큐 예측및분류

스토리지엔진 인덱스엔진

쿼리엔진

모델재생성

인메모리캐시

파일시스템

"실시간스트리밍으로머신러닝분류, 추천, 예측을수행하고,적합도평가를통해모델을반복적으로개선하는통합된데이터아키텍처"

2-1. 통신분야구축사례 (1)

미래부 주관 이통사 사이버치료체계 구축

악성앱 DB신규악성코드정보

서버 #1

서버 #2

서버 #3

서버 #4

서버 #5

서버 #6

서버 #7

서버 #8

서버 #9

서버 #10

서버 #11

서버 #12

3G/LTE 접속로그 (10TB/일)

탐지서버

과거통신내역고속풀텍스트검색

감염여부통지

2-1. 통신분야구축사례 (2)

이통사 데이터서비스 실시간 품질지표 KPI 관리, SMS/MMS 메세징 매출 및 운영 관제

2-2. 방송분야구축사례

실시간시청률분석 –종합관제

추이분석 –일단위

-39-

실시간 시청률 분석 통계

2-3. 금융분야구축사례 (1)

은행 및 증권사 이상금융거래탐지시스템 구축을 통한 사기거래 차단

금융위원회 금융전산 보안강화

대책 권고 사항 준수

금융감독원 전자금융사기

예방서비스 보안성 강화 이행

금융보안연구원의 이상금융거래

탐지시스템 기술가이드 충족

대용량 데이터 분석을 위한

빅 데이터 기반의 시스템 구축

전자금융거래법 9조 (2013.5)제9조(금융회사 또는 전자금융업자의 책임)

금융회사 IT부문 보호업무

이행지침 (2014.6)

전기통신금융사기 피해방지 및 피해금

환급에 관한 특별법 (2013.12)

제2조의5(이용자계좌에 대한 임시조치)

확장 가능한효율적인 시스템

비정상적인 금융거래

탐지 및 차단 체계구

축

전자금융 사기수법선제적 대응 기반



•정보수집

•분석 및 탐지

•대응

•모니터링 및 감사

•기술가이드 준수

•실시간 로그처리

•기존시스템 연계

•개인정보 보호

구축대상채널

시스템구성요소

주요구축요건

• 이용자 매체환경 정보 수집

- 어플리케이션 정보 수집, 하드웨어 정보 수집, 네트워크 정보 수집

• 사고유형 정보 수집

- 국내외 이상금융거래 동향 수집, 포렌식 조사•분석

• 거래규모 및 거래량 등 금융거래가 빈번한 금융서비스

• 과거부터 이상금융거래가 지속적으로 발생하는 금융서비스

• 이용자를 대상으로 제공하는 비대면 전자금융거래

• 이상금융거래 징후가 발생하여도 이를 자체 해결하지 못하는 금융 서비스

• 대용량 로그의 실시간 분석

• 기존 시스템과의 상호 연계를 위한 호환성 제공

• 개인정보 암호화

• 거래량 증가 및 채널확대를 대비한 확장성

•인터넷 뱅킹

•모바일 뱅킹

•텔레뱅킹

• CD/ATM

•HTS

•WTS

•MTS

• ARS



뱅킹WAS

뱅킹WAS

L4

뱅킹WAS

로그프레소탐지서버 #1

로그프레소탐지서버 #2

L4

로그프레소분석서버 #1

로그프레소분석서버 #2

로그프레소DR서버

약 40대

계정계오라클DB

• 탐지서버는수십개의스트림쿼리를병렬적으로실행하여탐지수행, 최대 0.5초, 평균 0.1초이내응답

• 각스트림쿼리는수십만~수천만건의프로파일데이터를고속으로검색하여대조

• 탐지서버에들어오는새로운거래데이터는분석서버에전달하여원본저장

• 탐지서버에서원격으로분석서버를쿼리하여최근 1년데이터의프로파일링결과를수신

• 분석서버에서대량의컴퓨팅자원을소모하거나장애발생시에도탐지서버에영향없음

2-4. 서비스분야구축사례

지역적으로 분리된 다수의 IDC 로그를 모두 통합하여 외부침해 및 내부유출탐지 수행

액티브 스탠바이 액티브 스탠바이 액티브 스탠바이 액티브 스탠바이 액티브 스탠바이

IDC #1 IDC #2 IDC #3 IDC #4 IDC #5

액티브 스탠바이

가상IP

• 메인서버다운시에도중계서버가디스크버퍼링후재전송

• 중계서버가각 IDC 내에서 UDP 패킷을수신하여손실최소화

가상IP 가상IP 가상IP 가상IP 가상IP

실시간복제

쿼리마스터

중계서버레이어

IDC별메인서버

2-5. 공공분야구축사례 (1)

관세청 개인정보유출관제 시스템

API

암호화

전송

DBMS

WAS

개인정보 보유 시스템상관관계 분석 시스템

통합 로그 키워드 검색

필터링 및 정규화

원시로그 수집

원시로그 암호화 저장

단위 로그 키워드 검색

이상 징후

상관관계 분석

Rule 위반

Rule Engine

Dashboard

소명 요청

소명 관리

소명 승인

위험등급 위험지수

실시간 모니터링

통합관제실

소명 대상자

E-m

ail

SM

S

보안 담당자

분석담당자

관제

분석

개인정보 통합관제

DRM

Endpoint 솔루션

보안USB

개인정보Filter

DLP

…

2-5. 공공분야구축사례 (2)

IoT 센서로 실시간 데이터를 수집하여 농작물의 최적 생장환경정보를 도출, 온도 등 이상징후 탐지

IoT 센서네트워크

(온도, 습도, 풍량, Co2 등)

외부기상및출하데이터

빅데이터기반농작물생장분석

3-1. BD B aaS : 시스티어기반빅데이터백엔드서비스

확장성 있는 시스티어 클라우드를 기반으로 빅데이터 플랫폼 제공

정형/비정형에상관없이모든데이터수집

고성능빅데이터솔루션실시간데이터처리

유연한인터페이스자체 Query 지원

수집에서시각화까지All-In-One 솔루션

분석가/실무진/경영진

3-2. 빅데이터처리성능

시스티어 클라우드의 고성능 VM은 물리 머신과 비교해도 떨어지지 않는 성능 특성

분류 항목 비고

OS CentOS 7

vCPU 16vCore 제온 E5-2680 v3 2.5GHz

RAM 160GB

DISK 순차쓰기 260MB/s

시간당 200GB 이상풀텍스트인덱싱

1억건임의조건분석통계 1초이내

15만 EPS 이상실시간스트리밍처리

InternetMAPM

IoT 서비스(운영자/개발자

/기획자/마케터)

SDK 모듈

3-3. 구축예시

IoT 센서, 모바일 등 다양한 원천 데이터를 확장성 있는 클라우드 빅데이터 서비스로 수집 및 분석

감사합니다Thank you

-

주식회사 이디엄

빅데이터 사업본부 상무이사 정철호

서울시 마포구 새창로 7 SNU장학빌딩 1601호

H-Page : http://www.eediom.com

E-Mail : [email protected]

Mobile : 010-6444-9410

빅데이터 최신기술동향및구축사례 -...

Documents

Transcript of 빅데이터 최신기술동향및구축사례 -...