[Spark] 빅데이터 분석 Spark IDE WordCountTest.java 오류 해결 - java.net.BindException: Can't assign requested address: Service 'sparkDriver'

 

 

 

안녕하세요 한주현입니다.

 

오늘은 Apach Spark를 실행 할 때 나오는 오류인 

java.net.BindException: Can't assign requested address: Service 'sparkDriver'

에 대해 포스팅 해보겠습니다. ㅎㅎ

스파크를 설치하고 Scala IDE에서 잘 설치가 되었는지 확인차

WordCount.java를 실행해보니 아래와 같이 오류가 발생하였습니다 ..ㅠㅠ

오류 상황

java.net.BindException: Can't assign requested address: Service 'sparkDriver'

밑에 줄줄이 여러 오류들이 붙어 있었지만,

가장 의심스러운 오류가 저 문장이었습니다 

해결 방법

저의 경우는 /etc/hosts 에 있는 host 와

${SPARK_HOME}/conf/spark-env.sh 간의 host 명이 일치하지 않아 오류가 발생하였습니다

1. ${SPARK_HOME}/conf/spark-env.sh 의 설정

SPARK_LOCAL_IP=127.0.0.1

2. host name 확인

$ hostname

<사용자의_hostname>

3. /etc/hosts 를 수정

$ sudo vim /etc/hosts

< 원본 파일 >

##                                                      
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
127.0.0.1    localhost

<수정된 파일> - 7번 라인을 주석으로 막고 8번 라인을 추가 하였습니다

##                                                      
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
#127.0.0.1    localhost
127.0.0.1    <사용자의_hostname>

8번 라인에 hostname의 결과로 나온 값을 넣어 줍니다

그리고 Scala IDE 에서 실행해보니..

역시 잘됩니다 ㅎㅎ!!

붉은 글씨가 뭔가 잘못된 것 같이 거슬리지만... 잘 된 겁니다 ㅎㅎ

오늘은 Scala IDE로 Spark 예제를 실행시킬 때 발생하는 오류인 

java.net.BindException: Can't assign requested address: Service 'sparkDriver'

를 해결하는 방법에 대하여 알아봤습니다.

부디 여러분들께 도움이 되셨음 좋겠습니다 ㅎㅎ.

그럼 다음 시간에 만나요!

 

 참고 링크: 

https://stackoverflow.com/questions/34601554/mac-spark-shell-error-initializing-sparkcontext

http://international.github.io/2016/07/29/15-47-java.net.BindException_Can_t_assign_requested_address-_Service__sparkDriver__failed_after_16_retries