[2022]에 대해 알아야 할 상위 20 HDFS 명령

게시 됨: 2021-01-01

Hadoop은 간단한 프로그래밍 패턴으로 워크스테이션 배치에 걸쳐 대규모 데이터 세트의 분산 처리를 가능하게 하는 Apache 오픈 소스 구조입니다. 최고의 확장성 기능을 갖춘 수많은 컴퓨터 클러스터가 있는 분산 스토리지 환경에서 작동합니다. HDFS 및 아키텍처에 대해 자세히 알아보십시오.

목차

HDFS의 목표

1. 대규모 분산 파일 시스템 제공

10,000개의 노드, 1억 개의 파일 및 10PB

2. 일괄 처리 최적화

매우 포괄적인 집계 용량 제공

3. 상품 하드웨어 가정

하드웨어 장애를 감지하고 복구합니다.

하드웨어가 실패할 경우 기존 파일을 사용할 가능성

4. 최고의 스마트 클라이언트 인텔리전스 솔루션

클라이언트는 비계의 위치를 ​​​​찾을 수 있습니다

클라이언트는 데이터 노드에서 직접 데이터에 액세스할 수 있습니다.

5. 데이터 일관성

클라이언트는 기존 파일에 추가할 수 있습니다.

Write-once-Read-many 액세스 모델입니다.

6. 파일 복제 및 유용성의 덩어리

파일은 128MB 블록 크기의 다중 노드 블록에서 중단하고 재사용할 수 있습니다.

7. 메모리의 메타 데이터

전체 메타 데이터가 메인 메모리에 저장됩니다.

메타 데이터는 파일 목록, 블록 목록 및 데이터 노드 목록에 있습니다.

트랜잭션 로그, 파일 생성 및 파일 삭제 기록

8. 데이터 정확성

체크섬을 사용하여 데이터의 유효성을 검사하고 변환합니다.

클라이언트는 512바이트당 체크섬을 계산합니다. 클라이언트는 노드에서 데이터와 체크섬을 검색합니다.

유효성 검사가 실패하면 클라이언트는 replica-process 를 사용할 수 있습니다 .

9. 데이터 파이프라인 프로세스

클라이언트는 첫 번째 노드에서 쓰기의 초기 단계를 시작합니다.

첫 번째 데이터 노드는 파이프라인에 대한 다음 데이터 노드로 데이터를 전송합니다.

모든 모델이 작성되면 클라이언트는 파일의 다음 블록을 작성하기 위해 다음 단계로 이동합니다.

HDFS 아키텍처

HDFS(Hadoop Distributed File System) 는 블록으로 구성됩니다. HDFS 아키텍처 는 마스터/슬레이브 아키텍처로 설명됩니다. 네임노드와 데이터 노드는 HDFS 아키텍처를 구성합니다.

  1. 네임노드: 파일 시스템 네임스페이스를 관리하기 위한 마스터 서버 역할을 하며 클라이언트에 대한 올바른 접근 방식을 제공합니다.
  • 특정 파일에 대한 데이터 블록을 구성하는 모든 데이터 노드를 제공합니다. 이를 통해 시스템이 시작될 때마다 데이터 노드에서 데이터를 복원합니다.
  • HDFS는 파일 "열기, 닫기, 이름 바꾸기"와 같은 일반적인 작업과 카탈로그를 위해 Namenode와 함께 실행되는 파일 메서드 네임스페이스를 통합합니다.
  1. Datanode: HDFS 클러스터의 두 번째 기술 사양입니다. 일반적으로 HDFS 클러스터의 노드당 하나씩 작동합니다.
  • DataNode는 슬레이브처럼 수행하고 클러스터 모드에서 각 컴퓨터에 머물며 원래 저장소를 구현하는 방법입니다. 그들은 클라이언트에 대한 요청을 제공, 읽기 및 쓰기합니다.

HDFS 상위 20개 명령

다음은 모든 HDFS 명령 목록입니다 .

1. HDFS 루트 디렉토리에 있는 모든 파일의 목록을 얻으려면

  • 명령: 사용법: hdfs dfs [일반 옵션] -ls [-c] [-h] [-q] [-R] [-t] [-S] [-u] [<경로>…]
  • 참고: 여기에서 일반 Linux 파일 시스템과 마찬가지로 루트에서 경로를 선택합니다. Green Mark의 -h는 권장되는 대로 사람이 읽을 수 있는 크기임을 나타냅니다. -R in Blue Mark는 하위 디렉토리로 연습하는 것이 수많은 것과 다르다는 것을 보여줍니다.

2. 도움말

  • 명령: fs – 도움말
  • 참고: 모든 명령을 인쇄하는 긴 출력을 인쇄합니다.

3. 단일 파일 내에서 모든 파일을 카탈로그로 연결

  • 명령: hdfs dfs [일반 옵션] -getmerge [-nl] <src> <localdst>
  • 참고: 이렇게 하면 루트 디렉터리의 모든 파일을 전달하고 모두 함께 연결하는 로컬 시스템 디렉터리에 새 파일이 생성됩니다. 빨간색으로 표시된 -nl 옵션은 파일 간의 개행을 결합합니다. 이 명령을 사용하여 다른 작업을 위해 선택 영역 내에서 작은 레코드 모음을 결합할 수 있습니다.

4. 레지스터 디렉토리에 대한 디스크 사용량을 메가바이트 단위로 표시: /dir

  • 명령: hdfs dfs [일반 옵션] -du [-s] [-h] <경로> …
  • 참고: 파란색으로 표시된 -h는 읽을 수 있는 크기(예: 기가바이트)의 출력을 제공합니다.

5. 파일의 복제 요소 수정

  • 명령: hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby. 통나무
  • 참고: 각 Hadoop 클러스터에서 복제할 수 있는 파일로 계산되는 복제 요소용입니다.

6. 로컬 복사

  • 명령: hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata
  • 참고: 이 명령은 로컬 파일 시스템에서 Hadoop FS로 파일을 복사하기 위한 것입니다.

7.-rm -r

  • 명령: hadoop fs -rm -r /root/journaldev_bigdata
  • 참고: rm-r 명령을 사용하여 전체 HDFS 디렉토리를 제거할 수 있습니다.

8. 말소

  • 명령: hadoop fs -expunge
  • 참고: 이 삭제는 빈 조각을 수행합니다.

9. fs -du

  • 명령: hadoop fs -du /root/journaldev_bigdata/
  • 참고: 이 명령은 디렉터리의 HDFS 아래에 있는 파일의 디스크 사용에 도움이 됩니다.

10.mkdir

  • 명령: hadoop fs -mkdir /root/journaldev_bigdata
  • 참고: 이 명령은 파일의 상태를 확인하는 데 사용됩니다.

11.텍스트

  • 명령: hadoop fs -text <src>
  • 참고: 이 명령은 ."샘플 zip" 파일을 텍스트 형식으로 시각화하는 데 사용됩니다.

12. 스탯

  • 명령: hadoop fs -stat [형식] <경로>
  • 참고: 이 stat 명령은 디렉토리에 있는 '테스트' 파일에 대한 정보를 인쇄하는 데 사용됩니다.

13. chmod : (하둡 chmod 명령어 사용법)

  • 명령: hadoop fs -chmod [-R] <모드> <경로>
  • 참고 : 이 명령은 "testfile"에 대한 파일 권한을 변경하는 데 사용됩니다.

14. 파일 추가

  • 명령어 : hadoop fs -appendToFile <localsrc> <dest>
  • 참고: 이 명령은 로컬 파일 시스템의 localfile1, localfile2를 카탈로그에서 'appendfile'로 지정된 파일에 즉시 추가하는 데 사용할 수 있습니다.
  1. 체크섬
  • 명령: hadoop fs -checksum <src>
  • 참고: 이것은 체크섬 정보를 반환하는 셸 명령입니다.
  1. 세다
  • 명령: hadoop fs -count [옵션] <경로>
  • 참고 : 이 명령은 지정된 파일의 지정된 경로에서 파일, 디렉토리 및 바이트 수를 계산하는 데 사용됩니다.
  1. 찾다
  • 명령: hadoop fs -find <경로> ... <표현식>
  • 참고: 이 명령은 언급된 표현식과 일치하는 모든 파일 을 찾는 데 사용됩니다 .
  1. getmerge
  • 명령: hadoop fs -getmerge <src> <localdest>
  • 참고: 이 명령은 "MergeFile into Local"에 사용됩니다.

19. 터치즈

  • 명령어 : hadoop fs –touchz /directory/filename
  • 참고: 이 명령은 0바이트에 해당하는 파일 크기로 HDFS에 파일을 생성합니다.
  1. fs -ls
  • 명령 : hadoop fs -ls
  • 참고: 이 명령은 기본 디렉토리 아래에 사용 가능한 파일 및 하위 디렉토리 목록을 생성합니다.

읽기: Hadoop 생태계 및 구성 요소

결론

이 기사가 HDFS 명령 을 이해하여 Hadoop 파일 시스템에서 작업을 실행하는 데 도움이 되었기를 바랍니다. 이 기사에서는 기본적인 HDFS 명령을 모두 설명 했습니다.

빅 데이터에 대해 더 알고 싶다면 PG 디플로마 빅 데이터 소프트웨어 개발 전문화 프로그램을 확인하십시오. 이 프로그램은 실무 전문가를 위해 설계되었으며 7개 이상의 사례 연구 및 프로젝트를 제공하고 14개 프로그래밍 언어 및 도구, 실용적인 실습을 다룹니다. 워크샵, 400시간 이상의 엄격한 학습 및 최고의 기업과의 취업 지원.

세계 최고의 대학에서 온라인으로 소프트웨어 개발 과정 을 배우십시오 . 이그 제 큐 티브 PG 프로그램, 고급 인증 프로그램 또는 석사 프로그램을 획득하여 경력을 빠르게 추적하십시오.

미래의 기술 마스터 - 빅 데이터

IIT Bangalore의 빅 데이터 고급 인증 프로그램