Data
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 16]EsperTech
에스퍼 https://www.espertech.com/ 실시간 적재 핵심기술. 룰엔진 라이브러리 에스퍼만의 쿼리를 사용. ex) 과속로직/룰 을 디파인함. 라이센스 GNU GPLv2 : https://www.jopenbusiness.com/mediawiki/Esper 유사프로젝트 Drools 주요 구성요소 Event 실시간 스트림으로 발생하는 데이터들의 특정 흐름 또는 패턴을 정의 EPL 유사 SQL을 기반으로 하는 이벤트 데이터 처리 스크립트 언어 ex) 과속의 룰 정의 Input Adapter 소스로부터 전송되는 데이터를 처리하기 위한 어댑터 제공 CSV, Socker, JDBC, Http, 등 Output Adapter 타깃으로 전송하는 데이터를 처리하기 위한 어댑터 제공 HDFS, CSV, Soc..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 15]Storm
STORM http://storm.apache.org/ 대규모 메시지성 데이터 발생 -> 카프카(토픽: 버퍼링 _브로커 한계 전에 이동필요) -> 스톰(카프카 컨슈머 역할) 1. 분산병렬위치, 영구저장소에 빠른 적재 2. 전처리, 집계, 분석 -> HDFS or NoSQL or RDBMS or Radis(캐시) 라이센스 Apache 유사프로젝트 Samza, S4, Akka, Spark Stram (마이크로배치: 배치처리짧게한것 요즘대세, 스톰은 리얼타임) 주요 구성요소 Spout (이번엔. 카프카 spout) 외부로부터 데이터를 유입받아 가공, 처리해서 튜플을 생성, 이휴 해당 튜플을 Bolt에 전송 Bolt 튜플을 받아 실제 분산 작업을 수행하며, 필터링(Filtering), 집계(Aggregation..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 14]redis
radis http://www.radis.io/ Remote Dictionary Server 1. 분산 캐시 시스템 2. NoSql 처럼 Key -Value 관리. ::: 분산서버 메모리 저장, 고성능 응답속도 3. Hbase 와 달리. 대규모 메시지데이터중 특정 데이터를 저장함. 라이센스 BSD 유사프로젝트 jBoss Infinispan, MemCahshed, Mambase 주요 구성요소 Master 분산 노드 간의 데이터 복제와 Slave서버의 관리를 위한 마스터 서버 Slave 다수의 Slave서버는 주로 읽기 요청을 처리하고, Master서버는 쓰기 요청을 처리. Sentinel 레디스 3.x부터 지원하는 기능으로 Master 서버에 문제가 발생할 경우 새로운 Master를 선출 하는 기능 Rep..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 13]HBase
ACID atomicity, consistency, isolation, durability 원자성, 일관성, 고립성, 지속성 관계형 데이터의 원칙. 이를 위해 많은 리소스 사용. NoSQL 은 ACID 지키지 않음 , Key Value 구조. 단순화 , 쓰기 읽기 가능하게. HBase http://hbase.apache.org/ 하둡 HDFS위에 만들어진 분산 컬럼지향 NoSQL 데이터베이스 스키마변경 자유롭다. 실시간 임의 읽기/쓰기 제공, 복제기능 지원. 성능 안정성 보장. 라이센스 Apache 유사 프로젝트 BigTable, Cassandra, MongoDB 주요 구성요소 HTable 칼럼 기반 데이터 구조를 정의한 테이블 공통점이 있는 칼럼들의 그룹을 묶은 칼럼패밀리와 테이블의 로우를 식별해서 접..