전체 글
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 06]수집- 개요/아키텍처
프로젝트 단계 1. 빅데이터 이해하기 2. 빅데이터 파일럿 프로젝트 3. 빅데이터 수집 4. 빅데이터 적재 1 : 대용량 로그파일 적재 5. 빅데이터 적재 2 : 실시간 로그/분석 적재 6. 빅데이터 탐색 7. 빅데이터 분석 8. 분석환경 확장. 빅데이터 수집 1. 빅데이터 수집 개요 - 빅데이터 수집개념 중요성 , 일반 수집과 차이점 설명 >> 분산환경 2. 빅데이터 수집에 활용되는 기술 - 빅데이터 수집에서 사용할 두가지 기술(플럼, 카프카)를 소개하고 기술별 주요 기능과 아키텍쳐, 활용방안 알아본다. 3. 수집, 파일럿 실행 1단계 -수집 아키텍처 - 스마트카에서 발생하는 로그파일 수집과 관련된 요구사항 구체화, 수집 요구사항을 해결하기 위한 파일럿 아키텍쳐를 이해한다. 4. 수집 파일럿 실행 2단..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 05]하둡, 주키퍼 명령어
하둡명령어 파일 HDFS의 /tmp 디렉터리로 저장 $hdfs dfs -put Sample.txt /tmp hdfs에 저장한 목록 확인 $hdfs dfs -ls /tmp 저장파일 내용보기 $hdfs dfs -cat /tmp/Sample.txt hdfs파일상태보기 -파일크기 %b 파일블록크기 %o 복제수%r 소유자명%u 파일명%n $hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt hdfs저장한 파일 이름 바꾸기. $hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt hdfs파일 로컬파일시스템가져오기 $hdfs dfs -get /tmp/Sample2.txt /home/bigdata/ hdfs파일삭제 - 휴지통에 임시 삭제된 파일 24시간 동..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 04] 빅데이터 클러스터 구성
빅데이터 클러스터 데이터를 클러스터링한다는 것은 연속적으로 액세스하는 데이터를 밀접하게 함께 저장하여 입출력 작업을 적게 하는 것을 의미한다 하나의 데이터를 여러개의 부분집합으로 분할하는것. SQL서버 내용중.. 데이터 가상화 : 빅데이터 클러스터 SQL서버에서 데이터를 이동복사 하지 않고 외부데이터 원본 쿼리 가능. 데이터 레이크 : 가공되지 않은 상태로 저장되어 접근이 가능한 엄청난 양의 데이터 빅데이터를 빅데이터 클러스터의 HDFS 저장후 데이터를 분석 및 쿼리하고 관계형 데이터 베이스와 결합가능. 스케일 아웃 데이터 마트 : 규모 확장계산 , 저장소 제공, 데이터 분석기능 향상. 추가 분석을 위해 다양한 원본 데이터 수집 데이터 풀 노드간에 캐시로 분산. 인공지능 및 머신러닝 : 스토리지, 데이터..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 03] 서버설정 크라우데라 설치
https://blog.1028web.com/entry/virtualbox 에 연결된글입니다. [1028 virtualbox] 버추얼박스와 네트워크 _ NAT, 라우터, 게이트웨이 1. VirtualBox-6.1.22-144080-Win.exe 설치 2. 파일> 환경설정> 네트워크 > NAT 네트워크 추가. 더보기 네트워크 이름 : NatNetwork 네트워크 CIDR(C) :10.0.2.0/24 네트워크 옵션: DHCP지원 3. 호스트전용네트워.. blog.1028web.com 1. CentOS 7 부팅시 콘솔모드로 변환 Application > System Tools > Terminal $systemctl get-default $systemctl set-default multi-user.target ..