하둡 데이터 플랫폼

빅데이터 전문가의 하둡 관리 스터디 노트

목차

• PART I 하둡 소개: 아키텍처와 하둡 클러스터

  • Chapter 1 하둡 소개 및 하둡의 주변 환경
    • 1.1.1 하둡과 하둡의 생태계에 대한 개요
    • 1.1.2 클러스터 컴퓨팅과 하둡 클러스터들
    • 1.1.3 하둡 컴포넌트들과 하둡 생태계
    • 1.1.4 하둡 관리자들이 하는 일
    • 1.1.5 하둡 1과 하둡 2의 주요 차이점
    • 1.1.6 분산형 데이터 처리: 맵리듀스, 스파크, 하이브, 피그
    • 1.1.7 데이터 통합: 아파치 스쿱, 아파치 플룸, 아파치 카프카
    • 1.1.8 하둡 관리의 핵심 영역
    • 1.1.9 요약
  • Chapter 2 하둡 아키텍처 개요
    • 1.2.1 분산 컴퓨팅과 하둡
    • 1.2.2 하둡 아키텍처
    • 1.2.3 데이터 스토리지 - 하둡 분산 파일 시스템
    • 1.2.4 하둡 운영 시스템인 얀을 사용한 데이터 프로세싱
    • 1.2.5 요약
  • Chapter 3 간단한 하둡 클러스터 생성 및 환경 설정
    • 1.3.1 하둡 배포판과 설치 타입
    • 1.3.2 가상 분산 하둡 클러스터 설정하기
    • 1.3.3 하둡 설정하기
    • 1.3.4 새로운 하둡 클러스터 운영하기
    • 1.3.5 요약
  • Chapter 4 하둡 클러스터 계획하기
    • 1.4.1 클러스터를 계획할 때 일반적으로 고려해야 할 것들
    • 1.4.2 싱글 랙에서 멀티 랙으로 가기
    • 1.4.3 멀티노드 클러스터 만들기
    • 1.4.4 하둡 설정 파일 수정하기
    • 1.4.5 클러스터 시작하기
    • 1.4.6 하둡 서비스, 웹 인터페이스 그리고 포트 설정하기
    • 1.4.7 요약

• PART II 하둡 애플리케이션 프레임워크

  • Chapter 5 클러스터에서 애플리케이션 실행하기 - 맵리듀스 프레임워크
    • 2.5.1 맵리듀스 프레임워크
    • 2.5.2 아파치 하이브
    • 2.5.3 아파치 피그
    • 2.5.4 요약
  • Chapter 6 클러스터에서 애플리케이션 실행하기 - 스파크 프레임워크
    • 2.6.1 스파크는 무엇인가?
    • 2.6.2 왜 스파크인가?
    • 2.6.3 스파크 스택
    • 2.6.4 스파크 설치하기
    • 2.6.5 스파크 실행 모드
    • 2.6.6 클러스터 매니저 이해하기
    • 2.6.7 스파크와 데이터 액세스
    • 2.6.8 요약
  • Chapter 7 스파크 애플리케이션 실행하기
    • 2.7.1 스파크 프로그래밍 모델
    • 2.7.2 스파크 애플리케이션
    • 2.7.3 스파크 애플리케이션의 아키텍처
    • 2.7.4 인터랙티브하게 스파크 애플리케이션 실행하기
    • 2.7.5 스파크 셸과 스파크 애플리케이션
    • 2.7.6 스파크 애플리케이션을 만들고 서밋하기
    • 2.7.7 스파크 애플리케이션 설정하기
    • 2.7.8 스파크 애플리케이션 모니터링
    • 2.7.9 스파크 스트리밍으로 스트리밍 데이터 다루기
    • 2.7.10 스파크 SQL을 사용해 구조화된 데이터 처리하기
    • 2.7.11 요약

• PART III 하둡 데이터 관리 및 보호 그리고 고가용성

  • Chapter 8 네임노드의 역할과 HDFS의 동작 방식
    • 3.8.1 HDFS - 네임노드와 데이터노드 사이의 상호 연동
    • 3.8.2 랙 어웨어니스와 토폴로지
    • 3.8.3 HDFS의 데이터 복제
    • 3.8.4 클라이언트가 HDFS 데이터를 읽고 쓰는 방식
    • 3.8.5 HDFS 복구 프로세스의 이해
    • 3.8.6 HDFS의 중앙집중적 캐시 관리
    • 3.8.7 하둡의 아카이브 스토리지, SSD와 메모리(이종 스토리지)
    • 3.8.8 요약
  • Chapter 9 HDFS 명령, 퍼미션, 그리고 스토리지
    • 3.9.1 HDFS를 HDFS 셸 명령으로 관리하기
    • 3.9.2 dfsadmin을 이용해 HDFS 오퍼레이션 실행하기
    • 3.9.3 HDFS 퍼미션과 사용자 관리하기
    • 3.9.4 HDFS 스토리지 관리하기
    • 3.9.5 HDFS 데이터 리밸런싱하기
    • 3.9.6 HDFS 여분의 공간 확보하기(공간 재생)
    • 3.9.7 요약
  • Chapter 10 데이터 보호, 파일 포맷, 그리고 HDFS 접속
    • 3.10.1 데이터 보호하기
    • 3.10.2 데이터 압축
    • 3.10.3 하둡 파일 포맷
    • 3.10.4 하둡의 WebHDFS와 HttpFS 이용하기
    • 3.10.5 요약
  • Chapter 11 네임노드 오퍼레이션, 고가용성 그리고 페더레이션
    • 3.11.1 네임노드 오퍼레이션 이해하기
    • 3.11.2 체크포인팅 프로세스
    • 3.11.3 네임노드의 안전 모드 오퍼레이션
    • 3.11.4 HDFS 고가용성 설정
    • 3.11.5 HDFS 연합(HDFS Federation)
    • 3.11.6 요약

• PART IV 데이터 이동, 리소스 할당, 잡 스케줄링 그리고 보안

  • Chapter 12 하둡에서 데이터 넣고 빼기
    • 4.12.1 하둡 데이터 이동을 위한 툴들
    • 4.12.2 명령행을 통해 HDFS에 데이터 로딩하기
    • 4.12.3 DistCp를 이용해 클러스터 사이에 HDFS 데이터 복사하기
    • 4.12.4 스쿱으로 관계형 데이터베이스 데이터 처리하기
    • 4.12.5 플룸을 이용해 외부에서 들어오는 데이터 처리하기
    • 4.12.6 카프카를 이용해 데이터 처리하기
    • 4.12.7 요약
  • Chapter 13 하둡 클러스터의 리소스 할당
    • 4.13.1 하둡에서 리소스 할당
    • 4.13.2 FIFO 스케줄러
    • 4.13.3 Capacity 스케줄러
    • 4.13.4 Fair 스케줄러
    • 4.13.5 Capacity 스케줄러와 Fair 스케줄러 비교
    • 4.13.6 요약
  • Chapter 14 우지(Oozie)로 잡 워크플로 관리하기
    • 4.14.1 아파치 우지를 이용해 잡 스케줄링하기
    • 4.14.2 우지의 아키텍처
    • 4.14.3 클러스터에 우지 설치하기
    • 4.14.4 우지 워크플로 이해하기
    • 4.14.5 우지가 액션을 실행하는 방법
    • 4.14.6 우지 워크플로 생성하기
    • 4.14.7 우지 워크플로 잡 실행하기
    • 4.14.8 우지 코디네이터
    • 4.14.9 우지 관리하기
    • 4.14.10 요약
  • Chapter 15 하둡의 보안
    • 4.15.1 하둡 보안의 개요
    • 4.15.2 커버로스로 하둡 인증하기
    • 4.15.3 하둡 인가
    • 4.15.4 하둡 감시하기
    • 4.15.5 하둡 데이터 안전하게 보관하기
    • 4.15.6 기타 하둡의 보안과 관련 프로젝트들
    • 4.15.7 요약

• PART V 모니터링, 최적화, 그리고 문제 해결

  • Chapter 16 잡 관리하기, 휴 사용하기 그리고 반복 작업 수행하기
    • 5.16.1 YARN 명령을 이용해 하둡 잡 관리하기
    • 5.16.2 노드를 클러스터에서 빼거나 추가하기
    • 5.16.3 리소스매니저 고가용 설정(HA 설정)
    • 5.16.4 일반적인 관리 작업 수행하기
    • 5.16.5 MySQL 데이터베이스 관리하기
    • 5.16.6 중요한 클러스터 데이터 백업하기
    • 5.16.7 휴로 클러스터 관리하기
    • 5.16.8 특별한 HDFS 기능 사용하기
    • 5.16.9 요약
  • Chapter 17 모니터링, 지표, 그리고 하둡 로깅
    • 5.17.1 리눅스 서버 모니터링하기
    • 5.17.2 하둡의 평가 지표
    • 5.17.3 갱글리아를 이용한 모니터링
    • 5.17.4 하둡 로깅 이해하기
    • 5.17.5 하둡 웹 UI로 모니터링하기
    • 5.17.6 하둡 컴포넌트 모니터링
    • 5.17.7 요약
  • Chapter 18 클러스터 리소스 튜닝, 맵리듀스 최적화 그리고 벤치마킹
    • 5.18.1 얀 메모리와 CPU를 할당하는 방법
    • 5.18.2 효율적인 성능을 위한 설정
    • 5.18.3 맵과 리듀스 태스크 튜닝하기 - 관리자로서 할 수 있는 것
    • 5.18.4 피그와 하이브 잡 최적화하기
    • 5.18.5 클러스터 벤치마킹
    • 5.18.6 하둡 카운터
    • 5.18.7 맵리듀스 최적화하기
    • 5.18.8 요약
  • Chapter 19 아파치 스파크 설치 및 튜닝
    • 5.19.1 얀 위에서 동작하는 스파크를 위한 리소스 할당 설정하기
    • 5.19.2 리소스가 스파크에 어떻게 할당되는가?
    • 5.19.3 얀에서 스파크 실행 시 동적 리소스 할당하기
    • 5.19.4 저장 포맷과 데이터 압축하기
    • 5.19.5 스파크 애플리케이션 모니터링하기
    • 5.19.6 가비지 컬렉션 튜닝
    • 5.19.7 스파크 스트리밍 애플리케이션
    • 5.19.8 요약
  • Chapter 20 스파크 애플리케이션 최적화하기
    • 5.20.1 스파크 실행 모델 다시 보기
    • 5.20.2 셔플 오퍼레이션과 셔플을 최소화하는 방법
    • 5.20.3 파티셔닝과 병렬성(태스크의 수)
    • 5.20.4 데이터 직렬화 및 압축의 최적화
    • 5.20.5 스파크의 SQL Query 옵티마이저 이해하기
    • 5.20.6 데이터 캐시하기
    • 5.20.7 요약
  • Chapter 21 하둡 문제 해결
    • 5.21.1 저장 용량 관련 이슈들
    • 5.21.2 얀의 멈춘 잡 처리하기
    • 5.21.3 JVM 메모리 할당과 가비지 컬렉션 전략
    • 5.21.4 실패 종류에 따른 처리
    • 5.21.5 스파크 잡 문제 해결하기
    • 5.21.6 스파크 애플리케이션 디버깅
    • 5.21.7 요약

• 부록 A 버추얼박스 및 리눅스 설치 그리고 가상 머신 복사하기

  • A.1 오라클 버추얼박스 설치하기
  • A.2 오라클 엔터프라이즈 리눅스 설치하기
  • A.3 리눅스 서버 복제하기