6(50)

Install Hadoop on MacOSX

MySQL에 이어 Hadoop 설치방법을 포스팅합니다.

역시 HomeBrew를 이용해서 설치를 진행하려하는데요.
$ ruby -e “$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)”
(기존에 포스팅했던 내용이라 간단히..)

* Step 1. Hadoop 설치하기

2014.1.5 기준으로 Hadoop 1.2.1 을 설치합니다. 2.x버전도 있지만 Alpha버전이므로 1.2.1을 추천합니다.

MacOSX 에 현재 설치된 Java버전을 미리 확인하시기 바랍니다.

Java 1.7버전에서는 Hadoop 실행시에
“Unable to load realm info from SCDynamicStore” 이러한 오류를 발생시킬수 있습니다.
Java 1.6버전으로 설정하셔야합니다.

 

* Step 2. Hadoop 설정하기

설정해야할 파일이 몇개 있습니다.
먼저 brew를 통해 설치된 Hadoop폴더로 이동합니다.
폴더명은 “/usr/local/Cellar/hadoop/1.2.1/libexec” 입니다.

– conf/core-site.xml
– conf/mapred-site.xml
– conf/hdfs-site.xml

3개의 파일을 수정합니다.

== conf/core-site.xml ==

== conf/mapred-site.xml ==

== conf/core-hdfs.xml ==

* Step3. Format Hadoop FileSystem & Start Hadoop
위와 같이 설정을 하시고 터미널에 Command를 입력하면 됩니다.

* bin/start-all.sh 할때 오류발생시 대처방안
Unable to load realm info from SCDynamicStore put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/travis/input/conf. Name node is in safe mode.

conf/hadoop-env.sh 파일을 수정합니다.

Java7에서는 여전히 문제가 있는것 같습니다. 1.6으로 설정하시길 바랍니다. (다운로드 : http://support.apple.com/kb/DL1572)

참고URL : http://stackoverflow.com/questions/7134723/hadoop-on-osx-unable-to-load-realm-info-from-scdynamicstore

* Step4. Hadoop Processes are running

# Run a Hadoop example :

Hadoop logs: /usr/local/Cellar/hadoop/1.2.1/libexec/logs/
Web interface for Hadoop NameNode: http://localhost:50070/
Web interface for Hadoop JobTracker: http://localhost:50030/