Data
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 08]수집- 카프카
카프카 http://kafka.apache.org/ MOM(massage orianted middleware)소프트웨어, 대규모 발생 작은데이터, 비동기 방식 처리 : 분산임시 저장소 : 빅데이터 외 IOT, SNS에서도 사용. (Queue , Topic...이 버퍼역할, 트랜젝션처리) 라이센스 Apache 유사 프로젝트 ActiveMQ, RabbitMQ, HonnetMQ(호넷)등 주요 구성요소 Broker 카프카의 서비스 인스턴스 다수의 Broker를 클러스터로 구성하고 Topic이 생성되는 물리적서버 Topic Broker에서 데이터의 발생/소비 처리를 위한 중간저장소 Provider Broker의 특정 토픽에 데이터를 전송(발행)하는 역할로, 애플리케이션에서 카프카라이브러리를 이용해 구현 Consu..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 07]수집- 플럼
Error1 현상 2021-05-25 22:16:06,356 ERROR org.apache.flume.lifecycle.LifecycleSupervisor: Unable to start EventDrivenSourceRunner: { source:Spool Directory source SmartCarInfo_SpoolSource: { spoolDir: /home/pilot-pjt/working/car-batch-log } } - Exception follows. org.apache.flume.FlumeException: Unable to read and modify files in the spooling directory: /home/pilot-pjt/working/car-batch-log at org..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 06]수집- 개요/아키텍처
프로젝트 단계 1. 빅데이터 이해하기 2. 빅데이터 파일럿 프로젝트 3. 빅데이터 수집 4. 빅데이터 적재 1 : 대용량 로그파일 적재 5. 빅데이터 적재 2 : 실시간 로그/분석 적재 6. 빅데이터 탐색 7. 빅데이터 분석 8. 분석환경 확장. 빅데이터 수집 1. 빅데이터 수집 개요 - 빅데이터 수집개념 중요성 , 일반 수집과 차이점 설명 >> 분산환경 2. 빅데이터 수집에 활용되는 기술 - 빅데이터 수집에서 사용할 두가지 기술(플럼, 카프카)를 소개하고 기술별 주요 기능과 아키텍쳐, 활용방안 알아본다. 3. 수집, 파일럿 실행 1단계 -수집 아키텍처 - 스마트카에서 발생하는 로그파일 수집과 관련된 요구사항 구체화, 수집 요구사항을 해결하기 위한 파일럿 아키텍쳐를 이해한다. 4. 수집 파일럿 실행 2단..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 05]하둡, 주키퍼 명령어
하둡명령어 파일 HDFS의 /tmp 디렉터리로 저장 $hdfs dfs -put Sample.txt /tmp hdfs에 저장한 목록 확인 $hdfs dfs -ls /tmp 저장파일 내용보기 $hdfs dfs -cat /tmp/Sample.txt hdfs파일상태보기 -파일크기 %b 파일블록크기 %o 복제수%r 소유자명%u 파일명%n $hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt hdfs저장한 파일 이름 바꾸기. $hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt hdfs파일 로컬파일시스템가져오기 $hdfs dfs -get /tmp/Sample2.txt /home/bigdata/ hdfs파일삭제 - 휴지통에 임시 삭제된 파일 24시간 동..