Data
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 12]적재-실시간 로그/분석
수업진행. 1. 빅데이터 실시간 적재 개요 2. 빅데이터 실시간 적재에 활용하는 기술 3. 실시간 적재 파일럿 실행 1단계 -실시간 적재 아키텍쳐 4. 실시간 적재 파일럿 실행 2단계 -실시간 적재 환경구성 5. 실시간 적재 파일럿 실행 3단계 -실시간 적재기능구현 >Hbase , 레디스 6. 신시간 적재 파일럿 실행 4단계 -실시간 적재 기능 테스트. >카프카 스톰 실시간 적재 개요 수집 -> 적재-대용량(배치성처리) -> (처리/탐색 -> 분석/응용) -> 전재-메시지(실시간성 처리) 1. 실시간데이터 데이터 실시간== 빠르고, 오랜시간, 대규모 ==> 실시간 적재 실시간 분석... 수억건 데이터이기 때문. 2. 안정적으로 ==> 장애... 시 유실. 적재 저장소 유형 1. 내/외부 원천데이터 정형 ..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 11]주키퍼
주키퍼 http://zookeeper.apache.org/ Hbase, Kafka, Hadoop.. 범용적인 분산 코디네이터. 라이센스 Apache 유사프로젝트 Chubby, Doozerd, Consul 주요 구성요소 Client 주키퍼의 ZNode에 담긴 데이터에 대한 쓰기, 읽기, 삭제 등의 작업을 요청하는 클라이언트 주요 구성요소 - 서버 Ensemble 3대 이상의 주키퍼 서버를(**홀수 구성) 하나의 클러스터로 구성한 Ha아키텍처 ZNode 주키퍼 서버에 생성되는 파일시스템의 디렉터리 개념으로, 클라이언트의 요청 정보를 계층적으로 관리 (버전, 접근 권한, 상태, 모니터링 객체 관리등의 기능지원) Leader Server Ensemble 안에는 유일한 리더 서버가 선출되어 존재하며, 클라이언트의..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 10]하둡
하둡 https://hadoop.apache.org/ 1. 대용량 데이터 분산저장 2. 분산 저장된 데이터를 가공/분석 처리하는기능. 라이센스 Apache 유사프로젝트 GS(Google File System), Gluster, MogileFS 모자일FS, GridFS, Lustre 러스터 주요 구성요소 DataNode 블록(64MB or 128MB 등) 단위로 분할된 대용량 파일들이 DataNode의 디스크에 저장 및 관리 ... 서버... NameNode DataNode에 저장된 파일들의 메타 정보를 메모리상에서 로드해서 관리. EditsLog 에디트로그 파일들의 변경 이력(수정, 삭제 등) 정보가 저장되는 로그파일 FsImage NameNode 메모리상에 올라와 있는 메타정보를 스냅샵이 이미지로 만들..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 09]적재-대용량로그파일
강의 개요 1. 빅데이터 적재 개요_ 빅데이터 대용량 파일 적재의 기본 개념 설명 2. 빅데이터 적재에 활용하는 기술 _ 하둡, 주키퍼에 대한 소개 , 기술별 주요 기능, 아키텍처 활용방안 3. 적재 파일럿 실행 1단계 _ 적재 아키텍처 : 로그파일 적재와 관련한 요구사항 구체화, 파일럿 아키 설명 4. 적재 파일럿 실행 2단계 _ 적재 환경구성 : 스마트카 로그 파일 적재 아키텍처를 설치 및 환경구성 5. 적재 파일럿 실행 3단계 _ 적재 기능구현 : 플럼이용해 스마트카 생태정보 르그파일 하둡적제기능구현 6. 적재 파일럿 실행 4단계 _ 적재 기능 테스트 : 로그 시뮬레이터 이용해 스마트카 상태 정보 데이터 발생, 플럼이 해당 데이터를 HDFS정상적재 확인 적재 유형 수집 -> 적재(배치성) -> (처..