mac에 하둡(3.3.0) 설치하기

환경

- macOS Big Sur (버전 11.2.2)

- Hadoop 3.3.0

 

Home brew로 설치하는 방법 포스팅하겠습니다. 맥 터미널을 열고

$ brew install hadoop

# 설치 경로
# 3.x.x 부분은 설치하신 버전에 맞게 자동으로 경로 생성 됨
/usr/local/Celler/hadoop/3.x.x/libexec

설치가 완료 됐으면 몇 가지 세팅을 추가해준다. 

 

1. hadoop-env.sh 세팅

$ cd /usr/local/Celler/hadoop/3.x.x/libexec/etc/hadoop
$ vim hadoop-env.sh

해당 파일을 열면 주석처리 된 글들이 나올 것이다. 맨 아랫줄에 다음을 추가해주자. 

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Users/user/Library/Java/JavaVirtualMachines/corretto-11.0.10/Contents/Home"

참고로 JAVA_HOME 경로같은 경우는 다음 명령어를 입력하면 보여준다.

$ /usr/libexec/java_home

2. core-site.xml 변경

$ vim core-site.xml

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
          <description>A base for other temporary directories.</description>
      </property>
      <property>
          <name>fs.default.name</name>
          <value>hdfs://localhost:9000</value>
      </property>
</configuration>

3. hdfs-site.xml 변경

$ vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4. mapred-site.xml 변경

$ vim mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>   
	  <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

5. yarn.site.xml 변경

$ vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
</configuration>

여기까지 수정했으면 하둡 실행을 위한 설정을 모두 마쳤다.

 

하둡 실행

$ cd /usr/local/Celler/hadoop/3.x.x/libexec/sbin

$ sh start-all.sh
또는
$ sh start-dfs.sh
또는
$ sh start-yarn.sh

위 명령을 실행해주면 하둡이 실행된다.

이렇게 실행이 됐고, 실제 돌아가고 있는지 보려면 다음 명령을 입력한다.

$ jps
72384 ResourceManager
84083 Kafka
72482 NodeManager
72098 DataNode
71959 NameNode
84426 Jps
541
99407

이렇게 DataNode와 NameNode가 돌아가고 있으면 잘 된 거다.

- Cluster status: http://localhost:8088

- HDFS status: http://localhost:9870

- Secondary NameNode status: http://localhost:9868

 

잘 실행되는지 확인해보려면 위 url도 들어가보는 걸 추천한다.

 

하둡을 종료하는 방법은

$ cd /usr/local/Cellar/hadoop/3.x.x/libexec/sbin

$ sh stop-all.sh
또는
$ sh stop-dfs.sh
또는
$ sh stop-yarn.sh