전체 글
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 13]HBase
ACID atomicity, consistency, isolation, durability 원자성, 일관성, 고립성, 지속성 관계형 데이터의 원칙. 이를 위해 많은 리소스 사용. NoSQL 은 ACID 지키지 않음 , Key Value 구조. 단순화 , 쓰기 읽기 가능하게. HBase http://hbase.apache.org/ 하둡 HDFS위에 만들어진 분산 컬럼지향 NoSQL 데이터베이스 스키마변경 자유롭다. 실시간 임의 읽기/쓰기 제공, 복제기능 지원. 성능 안정성 보장. 라이센스 Apache 유사 프로젝트 BigTable, Cassandra, MongoDB 주요 구성요소 HTable 칼럼 기반 데이터 구조를 정의한 테이블 공통점이 있는 칼럼들의 그룹을 묶은 칼럼패밀리와 테이블의 로우를 식별해서 접..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 12]적재-실시간 로그/분석
수업진행. 1. 빅데이터 실시간 적재 개요 2. 빅데이터 실시간 적재에 활용하는 기술 3. 실시간 적재 파일럿 실행 1단계 -실시간 적재 아키텍쳐 4. 실시간 적재 파일럿 실행 2단계 -실시간 적재 환경구성 5. 실시간 적재 파일럿 실행 3단계 -실시간 적재기능구현 >Hbase , 레디스 6. 신시간 적재 파일럿 실행 4단계 -실시간 적재 기능 테스트. >카프카 스톰 실시간 적재 개요 수집 -> 적재-대용량(배치성처리) -> (처리/탐색 -> 분석/응용) -> 전재-메시지(실시간성 처리) 1. 실시간데이터 데이터 실시간== 빠르고, 오랜시간, 대규모 ==> 실시간 적재 실시간 분석... 수억건 데이터이기 때문. 2. 안정적으로 ==> 장애... 시 유실. 적재 저장소 유형 1. 내/외부 원천데이터 정형 ..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 11]주키퍼
주키퍼 http://zookeeper.apache.org/ Hbase, Kafka, Hadoop.. 범용적인 분산 코디네이터. 라이센스 Apache 유사프로젝트 Chubby, Doozerd, Consul 주요 구성요소 Client 주키퍼의 ZNode에 담긴 데이터에 대한 쓰기, 읽기, 삭제 등의 작업을 요청하는 클라이언트 주요 구성요소 - 서버 Ensemble 3대 이상의 주키퍼 서버를(**홀수 구성) 하나의 클러스터로 구성한 Ha아키텍처 ZNode 주키퍼 서버에 생성되는 파일시스템의 디렉터리 개념으로, 클라이언트의 요청 정보를 계층적으로 관리 (버전, 접근 권한, 상태, 모니터링 객체 관리등의 기능지원) Leader Server Ensemble 안에는 유일한 리더 서버가 선출되어 존재하며, 클라이언트의..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 10]하둡
하둡 https://hadoop.apache.org/ 1. 대용량 데이터 분산저장 2. 분산 저장된 데이터를 가공/분석 처리하는기능. 라이센스 Apache 유사프로젝트 GS(Google File System), Gluster, MogileFS 모자일FS, GridFS, Lustre 러스터 주요 구성요소 DataNode 블록(64MB or 128MB 등) 단위로 분할된 대용량 파일들이 DataNode의 디스크에 저장 및 관리 ... 서버... NameNode DataNode에 저장된 파일들의 메타 정보를 메모리상에서 로드해서 관리. EditsLog 에디트로그 파일들의 변경 이력(수정, 삭제 등) 정보가 저장되는 로그파일 FsImage NameNode 메모리상에 올라와 있는 메타정보를 스냅샵이 이미지로 만들..