안녕하세요. 빅데이터 자율주행 팀 프로젝트를 하고 있는데 막히는 부분이 있어 문의 드립니다.
플럼 - 카프카 - 스톰 - HBase / Redis 로 실시간 이미지를 적재하려고 하는데요..
3대의 pc를 클러스터로 구성하는 방법을 잘 모르겠습니다.
버추얼박스로 하나의 물리적 서버 안에서 복수의 가상 서버를 생성하는 방식이 아닌,
물리적 서버 여러개를 네트워크로 묶는 방식을 해야 하는데..
우분투에서 하는 방법은 검색해서 찾았지만 윈도우에서 하는 방법을 못 찾았습니다.
반드시 리눅스에서 해야 하는 건가요..?
이쪽 프로젝트가 처음이라 모르는 게 많습니다..ㅎ;
반갑습니다.
and 데이터량에 따라서 다르겠지만, 본격적으로 쓰려면 CPU 파워와 메모리 용량을 꽤 많이 먹는 솔루션들 입니다.
http://softfact.tistory.com/5
참고하세요
자바 기반이라고는 하지만, 성능을 위해서 네트웍이나 IO, 압축 등과 관련하여 네이티브 라이브러리들을 상당히 많이 사용합니다.
그거 컴파일 직접 하는 것도 번거롭고요, 각 패키지를 직접 받아서 설치하기도 번거롭습니다.
그냥 쓰면 제 성능이 안나오고요.
CentOS나 Ubuntu에 클라우데라 배포판을 설치하시는 걸 권장드립니다.
몇번 해보시면 무지 쉽습니다.
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html
기본적인 OS가 설치된 상태에서 마스터 서버에 매니저만 설치하면, 나머지는 하둡 구성요소의 설치와 구성은 웹을 통해서 할 수 있게 되어 있습니다.
여러분께 도움이 될 듯 합니다.