아파치 하둡 (Apache Hadoop) ¶

아파치 하둡은 다수의 저가 서버로 구성된 클러스터를 이용해서 어플리케이션을 실행하는 프레임워크(framework)이다. 하둡 프레임워크를 이용하면 어플리케이션은 손쉽게 신뢰성과 데이터 운동성을 확보할 수 있다. 하둡은 맵/리듀스(Map/Reduce)라는 계산 패러다임(paradigm)을 구현하는데, 맵/리듀스에서 한 어플리케이션은 클러스터 상의 임의의 한 서버에서 실행되는 작은 단위의 일 여러 개로 쪼개져서 실행된다. 추가로, 하둡 프레임워크는 HDFS라는 분산 파일 시스템을 포함하고 있는데, 이는 계산 서버들에 데이터를 저장하면서 클러스터 전역에 걸쳐 우수한 성능을 보여준다. 맵/리듀스와 분산 파일 시스템 모두 클러스터 내의 일부 서버 고장에 대해 프레임워크가 자동으로 대처하도록 설계하였다.

• 아파치 하둡 공식 웹사이트: 다운로드, 버그 트랙킹, 메일링 리스트 등
• 아파치 하둡 개요
• 자주하는 질문들
• 하둡에 관한 오해
• 하둡 배포판
• 하둡 관련 발표자료, 관련서적, 기사, 논문
• 파워드바이: 아파치 하둡을 이용하는 사이트와 어플리케이션의 목록
• 지원
  • 하둡 커뮤니티
  • 고용 가능한 인재와 기업
• 하둡 커뮤니티 이벤트와 학회
  • HadoopUserGroups (HUGs)
  • HadoopSummit
• Yahoo! 하둡 튜토리얼 : 하둡 설정, HDFS, 맵/리듀스를 포함하는 튜토리얼
• Cloudera 온라인 하둡 교육: 비디오 교육, 실습, 미리 설정된 가상 머신 제공. 수업은 하둡, 맵/리듀스, 하이브(Hive), 픽(Pig) 등을 포함함
  
  

• 중요 개념
• 하둡 시작
• 속성반
• 하둡 쉘 스크립트를 위한 컨멘드 라인 옵션
• 하둡 코드 개요
• 문제해결
• 클러스터 셋업
  • 우분투 리눅스에서 하둡 실행 (머신 하나로 구성된 클러스터) (머신 한대를 이용해서 하둡을 설치, 설정, 실행하는 튜토리얼)
  • OS X 10.5 64-bit에서 하둡 실행 (머신 하나로 구성된 클러스터)
  • 하둡 설정하는 법
  • [http://wiki.apache.org/hadoop/WebApp URLs WebApp를 이용한 시스템 모니터링
  • 네임노드 장애 대처
  • How to get metrics into ganglia
  • 대규모 클러스터 운용 팁
  • 가상 머신을 이용한 클러스터 구성
  • 디스크 셋업에 관한 조언
  • 성능 성능 튜닝
  • 하둡 윈도우/이클립스 튜토리얼
    
    
• 맵/리듀스
  • 하둡 맵/리듀스
  • 하둡 맵/리듀스 클래스
  • 필요한 맵, 리듀스 개수 추산법
  • 실행환경
  • 맵/리듀스 프로그램 디버깅
    
    
• 예제
  • WordCount
  • Python Word Count
  • C/C++ Word Count
  • Grep
  • Sort
  • RandomWriter
  • HDFS에 읽고 쓰기
    
• 아마존(Amazon)
  • AmazonEC2를 이용한 하둡 실행
  • AmazonS3를 이욯한 하둡 실행
    
    
• 벤치마크
  • 하드웨어 벤치마크
  • 데이터 처리 벤치마크
    
    
• 서브 프로젝트
  • :Hbase, a Bigtable-like structured storage system for Hadoop HDFS
  • Apache Pig is a high-level data-flow language and execution framework for parallel computation. It is built on top of Hadoop Core.
  • Hive a data warehouse infrastructure which allows sql-like adhoc querying of data (in any format) stored in Hadoop
  • ZooKeeper is a high-performance coordination service for distributed applications.
    
    
• Contrib
  • HadoopStreaming (Useful for using Hadoop with other programming languages)
  • DistributedLucene, a Proposal for a distributed Lucene index in Hadoop
  • MountableHDFS, Fuse-DFS & other Tools to mount HDFS as a standard filesystem on Linux (and some other Unix OSs)
  • HDFS-APIs in perl, python, php, etc
  • Chukwa a data collection, storage, and analysis framework
    
    

• Roadmap, listing release plans.
• HowToContribute
• HowToDevelopUnitTests
• HowToSetupYourDevelopmentEnvironment
• :CodeReviewChecklist: HowToCodeReview
• Jira usage guidelines
• HowToCommit
• HowToRelease
• HudsonBuildServer
• DevelopmentHints
• ProjectSuggestions
• Building/Testing under IntelliJ IDEA
  
  

• Nutch Hadoop Tutorial (Useful for understanding Hadoop in an application context)
• IBM MapReduce Tools for Eclipse (An Eclipse plug-in that simplifies the creation and deployment of MapReduce programs)
• Hadoop IRC channel is #hadoop at irc.freenode.net.
• Using Spring and Hadoop (Discussion of possibilities to use Hadoop and Dependency Injection with Spring)
• Hama, a Distributed Matrix Computational Package based on Hadoop Map/Reduce
• Heart, a Planet-Scale RDF Data Store and a Distributed Processing Engine
• Mahout, scalable Machine Learning algorithms using Hadoop
• Live Hadoop A three-node, distributed Hadoop cluster running on an OpenSolaris live CD
• SGE Integration A guide on tight-integration of Hadoop on Sun Gridengine