Data

[1028 from 실무로 배우는 빅데이터 기술 By 김강원 05]하둡, 주키퍼 명령어

하둡명령어
파일 HDFS의 /tmp 디렉터리로 저장  $hdfs dfs -put Sample.txt /tmp   
hdfs에 저장한 목록 확인 $hdfs dfs -ls /tmp
저장파일 내용보기 $hdfs dfs -cat /tmp/Sample.txt
hdfs파일상태보기  -파일크기 %b 파일블록크기 %o 복제수%r 소유자명%u 파일명%n
$hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt
hdfs저장한 파일 이름 바꾸기. $hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt
hdfs파일 로컬파일시스템가져오기 $hdfs dfs -get /tmp/Sample2.txt /home/bigdata/
hdfs파일삭제 - 휴지통에 임시 삭제된 파일 24시간 동안 유지후 자동삭제
$hdfs dfs -rm /tmp/Sample2.txt

- 완전삭제
$hdfs dfs -rm -skipTrash /tmp/Sample2.txt

파일시스템 상태검사 전체크기, 디렉터리수, 파일수, 노트수 _파일시스템 전체상태
$hdfs fsck /


TIP . HDFS 파일의 비정상 상태
"CORRUPT FILES", "MISSING BLOCKS", "MISSING SIZE", "CORRUPT BLOCKS" 등의 항목에 숫자표시. 
이 상태가 지속되면 HBase 하이브 등에 부분적 장애 발생 가능성. 
강제 셧다운 빈번하고 리소스 부족한 테스트 환경에서 자주 발생할 수 있는현상이다. 
원래 HDFS 비정상적인 파일 블록을 발견할 경우 다른 노드에 복구하려고 시도하며, 다음과 같이 사용자가 직접 삭제/이동 명령으로 조치할수 있다. 
CORRUPT : 오염된. 

강제로 안전모드 해제 $hdfs dfsadmin -safemode leave
손상된파일 강제 삭제 깨진블록 자동으로 복구... 만약 전부.. 문제있으면 강제 삭제. 
$hdfs fsck / -delete
손상된 파일을 /lost +found 디렉터리로 옮긴다. $hdfs fsck / -move
하둡 파일시스템 기본 정보 통계 $hdfs dfsadmin -report



주키퍼 명령어
zookeeper -client 실행 $zookeeper-client
생성 $create /pilot-pjt bigdata

보기 $ls /


가져오기 $get /pilot-pjt


지우기 $delete \pilot-pjt