하둡명령어 | |
파일 HDFS의 /tmp 디렉터리로 저장 | $hdfs dfs -put Sample.txt /tmp |
hdfs에 저장한 목록 확인 | $hdfs dfs -ls /tmp |
저장파일 내용보기 | $hdfs dfs -cat /tmp/Sample.txt |
hdfs파일상태보기 | -파일크기 %b 파일블록크기 %o 복제수%r 소유자명%u 파일명%n $hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt ![]() |
hdfs저장한 파일 이름 바꾸기. | $hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt |
hdfs파일 로컬파일시스템가져오기 | $hdfs dfs -get /tmp/Sample2.txt /home/bigdata/ |
hdfs파일삭제 | - 휴지통에 임시 삭제된 파일 24시간 동안 유지후 자동삭제 $hdfs dfs -rm /tmp/Sample2.txt ![]() - 완전삭제 $hdfs dfs -rm -skipTrash /tmp/Sample2.txt |
파일시스템 상태검사 | 전체크기, 디렉터리수, 파일수, 노트수 _파일시스템 전체상태 $hdfs fsck / ![]() TIP . HDFS 파일의 비정상 상태 "CORRUPT FILES", "MISSING BLOCKS", "MISSING SIZE", "CORRUPT BLOCKS" 등의 항목에 숫자표시. 이 상태가 지속되면 HBase 하이브 등에 부분적 장애 발생 가능성. 강제 셧다운 빈번하고 리소스 부족한 테스트 환경에서 자주 발생할 수 있는현상이다. 원래 HDFS 비정상적인 파일 블록을 발견할 경우 다른 노드에 복구하려고 시도하며, 다음과 같이 사용자가 직접 삭제/이동 명령으로 조치할수 있다. ![]() |
강제로 안전모드 해제 | $hdfs dfsadmin -safemode leave |
손상된파일 강제 삭제 | 깨진블록 자동으로 복구... 만약 전부.. 문제있으면 강제 삭제. $hdfs fsck / -delete |
손상된 파일을 /lost +found 디렉터리로 옮긴다. | $hdfs fsck / -move |
하둡 파일시스템 기본 정보 통계 | $hdfs dfsadmin -report![]() |
주키퍼 명령어 | |
zookeeper -client 실행 | $zookeeper-client |
생성 | $create /pilot-pjt bigdata![]() |
보기 | $ls /![]() |
가져오기 | $get /pilot-pjt![]() |
지우기 | $delete \pilot-pjt![]() |
'Data' 카테고리의 다른 글
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 07]수집- 플럼 (0) | 2021.05.24 |
---|---|
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 06]수집- 개요/아키텍처 (0) | 2021.05.24 |
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 04] 빅데이터 클러스터 구성 (0) | 2021.05.22 |
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 03] 서버설정 크라우데라 설치 (2) | 2021.05.21 |
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 02] 소프트웨어/하드웨어 (2) | 2021.05.18 |