|
|
(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234) |
 백메가 |
2015-12 |
1770535 |
25 |
|
2015-12
1770535
1 백메가
|
|
|
[필독] 처음 오시는 분을 위한 안내 (737) |
정은준1 |
2014-05 |
5245099 |
0 |
|
2014-05
5245099
1 정은준1
|
|
49834 |
x5160개조로 e8500대체 가능할까요?? (10) |
김민철GC |
2014-03 |
6862 |
0 |
|
2014-03
6862
1 김민철GC
|
|
49833 |
mikrotik 여쭈어봅니다. (6) |
임종열 |
2014-03 |
4718 |
0 |
|
2014-03
4718
1 임종열
|
|
49832 |
win7 랜카드 설정이 풀리는 현상 (3) |
 무아 |
2014-03 |
5707 |
0 |
|
2014-03
5707
1 무아
|
|
49831 |
이베이 결제 관련 문의. |
멀린 |
2014-03 |
4779 |
0 |
|
2014-03
4779
1 멀린
|
|
49830 |
3개의 다른 네트워크 대역을 3개의 랜카드를 꽂아서 사용할때 가상 IP 문의 (3) |
 케이스 |
2014-03 |
3887 |
0 |
|
2014-03
3887
1 케이스
|
|
49829 |
공유기가 가끔씩 끊기는 원인은 무엇인가요? (18) |
장동건2014 |
2014-03 |
12133 |
0 |
|
2014-03
12133
1 장동건2014
|
|
49828 |
Xpenology에서 E-sata port multiplier 지원되나요? (3) |
바이러스1 |
2014-03 |
5507 |
0 |
|
2014-03
5507
1 바이러스1
|
|
49827 |
(비프음문의)화면이 나오지 않아서... (2) |
EYESSHOT |
2014-03 |
3802 |
0 |
|
2014-03
3802
1 EYESSHOT
|
|
49826 |
HP 300GB 2.5인치 10k SATA? 어떤 제품일까요? (12) |
 회원K |
2014-03 |
4052 |
0 |
|
2014-03
4052
1 회원K
|
|
49825 |
조그만 무선 키보드 사용법 좀 알려 주세요. (6) |
 자연인 |
2014-03 |
6436 |
0 |
|
2014-03
6436
1 자연인
|
|
49824 |
(해결)인텔 I217-V 네트워크 어댑터 드라이버 서버 2012용 드라이버로 만들기.. (3) |
니포 |
2014-03 |
10385 |
1 |
|
2014-03
10385
1 니포
|
|
49823 |
server 2008 R2 foundation 버전이 뭔가요? (7) |
1m전 |
2014-03 |
3734 |
0 |
|
2014-03
3734
1 1m전
|
|
49822 |
RAID 에서 문제가 있는 하드디스크를 찾아내는 방법이 어떤 것이 있는지요? (9) |
VSPress |
2014-03 |
4075 |
0 |
|
2014-03
4075
1 VSPress
|
|
49821 |
AA or AAA 배터리 추천 받아요 (26) |
블루스카이 |
2014-03 |
14336 |
0 |
|
2014-03
14336
1 블루스카이
|
|
49820 |
Hp ML310e gen8 펌웨어 업데이트 오류 (2) |
케이아스 |
2014-03 |
5100 |
0 |
|
2014-03
5100
1 케이아스
|
|
49819 |
배대지에 주소를 잘못넣었는데 제대로 갈수 있을까요?? (7) |
송현우 |
2014-03 |
5053 |
0 |
|
2014-03
5053
1 송현우
|
|
49818 |
윈 2012 r2의 가상디스크를 하이파v 셋팅 불가한가요? |
Nicoffeine |
2014-03 |
4162 |
0 |
|
2014-03
4162
1 Nicoffeine
|
|
49817 |
경남 진주시) 혹시 지금 시간에 RJ-45 살 수 있는 곳이 있을까요? (7) |
나비z |
2014-03 |
4083 |
0 |
|
2014-03
4083
1 나비z
|
|
49816 |
xp 업데이트 서버 구축할려면 어떻게 해야 하나요 ? (3) |
 삐돌이슬픔이 |
2014-03 |
3390 |
0 |
|
2014-03
3390
1 삐돌이슬픔이
|
|
49815 |
셀러론 2.4에서 펜티엄4 3.0C로 업그레이드 하면 체감될까요? (14) |
병맛폰 |
2014-03 |
8224 |
0 |
|
2014-03
8224
1 병맛폰
|
예전보다 설치가 쉬워지기는 했는데, 안정적으로 돌리려면 노하우가 좀 필요하다고 하더군요.
데이터 이전은 http://sqoop.apache.org
임대서비스 사업성은 거의 없다고 보시면 됩니다. 하둡 돌리면서 데이터 분석하는 정도면 자체적으로 구축해서 돌립니다.
임대서비스는 사실 서버가 남으니까 이걸 버리기는 아깝고 해서 돌리겠다는 건데요.
이 부분은 좀더 시장성을 봐야 할거 같네요..
하둡이 오픈소스이긴 하지만, 상업적으로 쓸 때에는 붙여야 하는 소프트웨어도 많고, 운영이나 설계가 생각만큼 쉽지 않기에 하둡 관련 회사들이 계속 인수가 되었고, 먹고 살 수 있죠.
빅 데이터 시장이 요즘 급격히 바뀌고 있는 것으로 알고 있습니다.
확실한 이니셔티브를 가진 회사에서 밀어주는 제품이 최고입니다.
1. 하둡구축시 하드웨어 사양
일반적인 범용 부품을 이용한 조립서버를 사용하는 것이 좋습니다. 대체로 상면비용을 고려해보면 1U 짜리로 구성하시는 것이 좋고, CPU나 메모리 디스크는 많으면 많을수록 좋지만 적당한 가격대 성능비를 가진 부품으로 구성하시는 것이 좋습니다.
요즘 추세라면 E5 계열 쿼드코어나 헥사코어 2개로 구성하고, 램은 CPU가 지원하는 채널에 맞게 48GB-64GB 정도로 구성하시면 되겠고, 디스크는 3.5인치 2TB-4TB SATA 4개로 구성하시면 되겠네요. 디스크는 개수가 많을수록 IO 성능이 좋아집니다. 노드 자체의 성능이 올라가면 작업이 빨라지지만, 노드를 여러개 추가해서 성능을 올릴 수 있기 때문에 가격대 성능비를 고려해서 구성하시면 되겠습니다.
클러스터는 독립된 네트웍 스위치로 구성되는 것이 좋고, 기가비트 스위치를 사용해야 하고, 랙간 스위들끼리는 10G를 사용하는 경우 1G로 연결할 때에 비해 성능 차이가 많이 나더군요.
2. 기존데이터를 하둡시스템에 넣는 방법(DB및 각종 로그파일(.txt))
txt 파일은 HDFS에 복사해서 넣으시면 됩니다. RDB의 경우에는 파일형태로 변환해서 저장하시든지 아니면 HBASE 등의 DB에 변환하셔서 넣으셔야 되는데, RDB와 같은 식으로 스키마를 사용하지 않고 KEY-VALUE 형태로 접근하는 방식으로 변환하셔야 합니다. 위에서 말씀하신 sqoop은 RDB의 데이터를 이전하는데 사용하는 툴입니다. 최종적으로는 파일형태로 저장하거나 HBASE 테이블 형태로 저장해야 합니다.
3. 구축후 외부 임대서비스등에 대한 사업성
제가 프로그래머라서 잘은 모르지만 사업성은 없을 것 같네요. 왜냐하면 아마존이나 구글에서 클라우드 서비스를 하고 있고, 그런 것을 이용하는 것이 가격과 신뢰성 측면에서 더 나을 것이기 때문입니다.
4. 연간 유지비용
단순히 생각하면 상면비가 들것이고, 디스크가 자주 고장나기 때문에 그정도의 유지보수 비용이 들겠습니다.
그런데 클러스터를 운영할 인력이 필요할 것입니다. 단순히 하드웨어를 유지보수하는 인력 이외에 클러스터를 구축하고 관리하고 문제가 생겼을 경우에 대처할 수 있는 인력이 필요합니다. 오라클 DB사용하면 오라클 DB 설치하고 튜닝하고 하는 사람들 필요하죠? 하둡 클러스터도 마찬가지라고 보시면 됩니다. 인력 유지 비용이 가장 클거라고 생각되네요.
---
하둡은 계속 성장하고 있는 중이라서 버전업도 빠르고, 최신 정보가 잘 정리되어 있는 한글 문서가 별로 없습니다.
'하둡 완벽 가이드'라는 책이 개념을 잡기에는 괜찮은데, 워낙 빠르게 변하다 보니까 최신 버전의 변경 내용은 직접 공식 사이트의 문서를 보셔야 됩니다. 그리고 실제 운영중에 발생하는 문제들을 해결하기 위해서는 구글 검색을 많이 해보셔야 되고 때로는 소스코드를 직접 열어보셔야 될수도 있습니다.
리눅스, 하드웨어, 네트워크, 자바 프로그 램, 오픈소스 커뮤니티 등에 대한 지식이 있는 운영인력이 필요할 것 같네요. 그쪽 분야에 대한 지식이 없는 회사에서 하둡 클러스터를 직접 운영하시는 것은 힘든 일이 될 것입니다.