개발지식 아카이브/Data - Hadoop
-
[빅데이터 전문가의 하둡관리] HDFS의 동작 알고리즘개발지식 아카이브/Data - Hadoop 2024. 12. 18. 23:20
HDFS 1. HDFS는 네임노드와 데이터노드의 interactionHDFS를 구성하는 컴포넌트는 네임노드와 데이터노드라는 것을 이전 챕터에서 배웠습니다. - 네임노드는... 1) 파일과 디렉토리를 열고 닫는 모든 HDFS 오퍼레이션을 수행한다 2) 블록들을 데이터 노드에 할당한다 3) 메타 데이터를 관리한다. (파일에 속한 블록들의 위치, 파일의 상태 등...) - 데이터노드의 데몬... 1) 네임노드에게 서버&포트 정보를 제공하여 클라이언트와 데이터노드가 데이터를 주고받을 수 있게 한다 2) 서버의 소켓을 열어둔 상태로 계속 유지하여 클라이언트가 효율적으로 읽고 쓸 수 있도록 돕는다 - 네임노드가 데이터노드로부터 하트비트를 받지 못하면? 1) 10초(default) 동안 데이..
-
[빅데이터 전문가의 하둡관리] Hadoop 아키텍처개발지식 아카이브/Data - Hadoop 2024. 12. 16. 07:50
Hadoop 아키텍처 1. 하둡은 무엇일까요?하둡은 Big Data를 효과적으로 처리하기 위한 기술입니다. 2. 하둡 컴포넌트엔 어떤 것들이 있을까요? - HDFS: 파일 시스템 - Yarn: 스케줄링, 리소스 관리 프레임워크 하둡 컴포넌트들 중 가장 핵심은 HDFS와 Yarn 두 가지입니다.그 외에 다른 컴포넌트들도 봅시다. - MapReduce: 병렬 처리 프레임워크 - HBase: HDFS를 스토리지로 사용하는 분산칼럼지향 데이터베이스 - Hive: HDFS 데이터를 위한 분산 DW, SQL 기반 쿼리 제공 - 잠깐! Hive는 데이터베이스가 아님. 그러면? - HDFS 디렉토리들을 테이블로 보여줄 뿐.. - 쿼리로 얻은..