환경 - macOS Big Sur (버전 11.2.2) - Hadoop 3.3.0 Home brew로 설치하는 방법 포스팅하겠습니다. 맥 터미널을 열고 $ brew install hadoop # 설치 경로 # 3.x.x 부분은 설치하신 버전에 맞게 자동으로 경로 생성 됨 /usr/local/Celler/hadoop/3.x.x/libexec 설치가 완료 됐으면 몇 가지 세팅을 추가해준다. 1. hadoop-env.sh 세팅 $ cd /usr/local/Celler/hadoop/3.x.x/libexec/etc/hadoop $ vim hadoop-env.sh 해당 파일을 열면 주석처리 된 글들이 나올 것이다. 맨 아랫줄에 다음을 추가해주자. export HADOOP_OPTS="-Djava.net.preferI..

HTTP protocol 쿠키, 세션 HTTP 프로토콜.. 기본적으로 웹서버와 클라이언트가 통신을 할 때 마다 서버는 클라이언트가 누구인지 계속 인증하는 과정이 필요하다. 그 이유는 HTTP 프로토콜이 connectionless, stateless한 특성이 있기 때문이다. Connectionless : 클라이언트가 요청을 한 후 응답을 받으면 연결을 끊어버리는 특성 Stateless: 통신이 끝나면 상태를 유지하지 않는 특성 이 때 인증과정에서 사용되는 것이 쿠키와 세션이다. 예컨데, 쿠키와 세션이 없으면 우리는 페이지를 이동할 때 마다 계속해서 로그인을 해야 할 것이다. 서버가 클라이언트를 기억하지 못하기 때문이다. Cookie 쿠키는 서버에서 클라이언트에게 저장하도록 시키는 정보다. 보통 클라이언트..

Spring Boot와 sqlite3 연동하기 Code: https://github.com/C-YooJin/lite (해당 게시물은 깃허브 코드를 참고하면서 보는 것을 권장합니다.) 1. Spring Boot 프로젝트를 생성한다. 나는 보통 빌드 툴로 maven을 사용하기 때문에 pom에 Spring web, Spring Data JPA, sqlite 디펜던시를 추가해주자. org.xerial sqlite-jdbc 3.21.0.1 2. SQLDialect를 설정해준다. JPA로 어플리케이션을 개발하게 되면 개발자가 직접 JDBC 레벨에서 SQL문을 작성하는게 아니고 JPA가 이를 대신해주게 되는데 그 때 필요한게 Dialect다. SQLDialect는 데이터베이스간의 SQL문법 차이를 보정해주기 위해 J..

JAVA Selenium 데이터 크롤링을 하게됐다. 자바를 메인언어로 바꾸겠다고 마음 먹은지 6개월정도 지났나 이제 좀 익숙해져 가고 있다. 두려움을 떨쳤다는 것 만으로도 스스로 기특하다고 생각하고 있다. 파이썬에서 자바로 언어를 바꿀 때 가장 답답한 부분은 함수형 사고방식에서 OOP형 사고방식으로 바꾸는 거였다. 뭐든 모르면 쫄기 마련인데, 하다보면 사실 몰랐을 뿐 어려운 건 아니었다는 생각을 하게 된다. 셀레니움 쓰다보면 자주 맞닥뜨리는 에러랑 간단한 해결법이다. 이런 글이라도 도움 되는 사람이 있겠지. 1. NoSuchElementException 셀레니움을 쓰다보면 제일 많이 보이는 에러다. 그런 엘리먼트는 없어~ 이런 느낌이다. 기본적으로 셀레니움은 다음 코드를 가장 많이 사용한다. import..

MySQL이랑 SQL 클라이언트 프로그램중 하나인 DBeaver를 연결해보자. 연결 과정에서 계속 에러가 나서 한 시간 정도 삽질을 했는데, DATABASE 자체를 연결하려는 게 문제의 시발점이었다. 일단, 데이터베이스가 아닌, 내 로컬의 MySQL 자체를 연결해야 된다는 점을 확실히 해 두자. 일단 난 로컬이랑 연결을 했기때문에 설정 값이 위와 같다. 서버와 연결 했으면 192.168.**.** 같은 값이 Server Host 부분에 들어 갈 것이다. ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'tkfkdgo'; 이게 내 MySQL에 USER를 설정해주는 명령어인데, ALTER이 들어간 이유는.. 이런 저런 삽질 끝에 ..

사이드 프로젝트를 하고 있는데 무슨 DBMS를 쓸지 고민하다가 Replication이 비교적 잘 지원된다는 점에서 MySQL을 선택했다. 그냥 설치하는 김에 기록. mac은 보통 homebrew로 오픈소스를 설치한다. MySQL도 마찬가지다. 우선 homebrew update를 해주자. $ brew update 업데이트가 끝났으면 설치해주면 된다. 우선 mysql의 버전부터 확인해보자 $ brew search mysql 음, 그렇군. 확인했으니 설치하자. $ brew install mysql 중간중간 보이는 brew 맥주 이모지가 바삭한 튀김과 맥주를 떠올리게 하지만 잘 참아보자. 설치가 완료 되었다면 내 맥에 brew list를 확인해보자. mysql이 잘 들어와 있으면 설치 성공이다. $ brew l..