한효석님이 주신 팁으로 스토리지서버로의 분리 작업을 시도해 보는 중입니다.
10g nic은 알려주신 아마존의 직구는 오래걸릴 것 같아서 여기 2cpu 장터를 찾아보니
죠짱님이 저렴하게 판매중이신 10g nic이 있어서 구매했습니다.
http://www.2cpu.co.kr/bbs/board.php?bo_table=sell&wr_id=140309
다행이(?) 가까운데 계셔서 점심때 만나서 (죠짱님이 점심 사주셨습니다 감사합니다^^) 물건 받고 좀전에 시도해 봤습니다.
nic 2개 sfp 2개 합해서 14만원 드렸고요.
하늘색 케이블은 http://www.fibermall.co.kr/home/ktsoptonics/mall.php?cat=2506&q=view&uid=2200 여기서 4만원 조금 안되게 구매했습니다. (20미터)
오랜지색으로 하면 만원정도 밖에 (20미터가) 안하지만.. 3만원차이인데 쬐끔이라도 빨랐으면 하는 마음에 그냥 하늘색 질렀습니다.
그래서 총 18만원으로 10G 환경을 시도해 보게 되었습니다.
구매한 Mellanox 10Gbit ConnectX-2 NIC 은 이렇게 생겼고요.
sfp ( 광 케이블하고 nic 하고 연결해 주는것인듯 )는 이렇게 생겼네요...
별도 구매한 하늘색 광 케이블 입니다. 앞에 뚜껑(?)이 있어서...
이렇게 빼야 하더군요.....
광 케이블을 sfp에 연결해 봤습니다.
케이블이 두가닥(?)인데 A,B 번호가 붙어 있네요.
교차로 연결해야 한다고 합니다.
그냥....... 한번 nic에 꼽아 봤습니다.
idc에서 대충만 봐봤지 이렇게 개인적으로 광케이블을 직접 쓰는건 첨이라 호기심에 자세히 살펴보고 넣었다 빼봤다 해봤습니다 ㅎㅎㅎㅎㅎ
저 동그라미 부분을 꾸욱 눌러주면 케이블만 쏙 빠지네요...
아무튼 제 모니터 왼쪽에 테스트용 PC를 스토리지서버(?)로 구성해 봤습니다.
ASR-71605하고 10G NIC을 달고요..
(이상하게 ASR-71605가 갑자기 미쳤는지 꼭 아래 PCIE슬롯에 꼽아아인식되네요;;; 10G NIC은 아무데나 꼽아도 되는데... )
우선 테스트 목적으로 HDD 4TB x 8 RAID 5 한세트를 연결했습니다.
테스트 PC의 파워는 HDD 8개 커버가 안될까봐 회의실에서 혼자 (벌스듯이) 돌고있던 애물단지 ZM850-EBT를 가져와서 HDD 8개에 직접 꼽았습니다.
그래서 지금 제 책상은 점점 좁아지고 있네요 ㅎㅎ
아무튼 드디어 케이블을 연결해 봅니다.
그리고 이건 본체
지금이야 녹색불 들어오지만
처음에는 반응이 없어서 무척 당황했습니다;;;;;;;
불도 안들어 오고 "네트워크 케이블 언플러그됨" 이라고 떠서.. 케이블이 불량인가 싶어서 말이죠.
그래서 이쪽 계통을 잘 아는 친구한테 긴급 SOS전화를 날려서 물어보니
한쪽을 뽑아서 눈으로 잘 보라고 하더라고요. 불이 들어오는지;;
그래서 뽑아서 보니깐 A케이블은 불이 안들어오고 B 케이블은 불이 들어오더라고요.
그 담엔 케이블이 뽑혀진 SFP의 두 구멍을 보라고 하더라고요 불이 들어오는 구멍이 있는지
보니깐 한쪽에만 불이 들어오네요;;
그래서 케이블중에 불이 안들어오는 케이블을 불이 들어오는 SFP구멍에 꼽고
불이 들어오는 케이블은 불이 안들어오는 SFP구멍에 꼽으라고 해서 꼽았더니 그제서야 NIC의 LED가 깜빡깜박 하면서
양쪽컴에 네트워크가 연결되더군요.
뭐 2CPU분들은 다 아시는 상식이겠지만 혹시나 모르시는 분들도 계실까봐 경험담(?)을 적어둡니다. ㅎㅎ
아무튼 그렇게 연결을 하고
테스트 PC가 워낙 저사양이라
(CPU G3260 : 6만원 + BOARD B85M PRO4 : 7만원 + RAM 2기가 : 1만원 = 14만원)
과연 ASR-71605가 제대로 성능이 나올까 싶어서 HD-TUNE살짝 돌려봤더니
컴터는 엄청 느리지만 I/O는 정상적으로 나오네요. 무척 불안하긴 하지만........;;
자! 그래서 이제 결론입니다.
네트워크 드라이브 잡고 복사를 해봤습니다.
아..... 400MB/s 정도가 나오는군요......
그리고 CPU가 후달려서 그런지 파일복사 하나 하는데 갑자기 35%로 올라가는군요. ㅎㅎ
참고로 본체에서 D (SSD x 2 RAID 0) 에서 F ( HDD X 8 RAID 5)는 1기가 정도 나옵니다.
즉 속도가 절반 이하로 나오는 군요.
아무래도 테스트PC의 성능에 다소 영향을 받는 것 같습니다.
혹시나 해서 RAID DISK 말고 일반 100M 전송속도 나오는 디스크의 파일을 복사해 보니 60M/s정도 나오네요.
참고로 사무실에 그냥 평범한 파일서버는 1G NIC으로 100~110M/s정도가 나옵니다
즉 PC성능에 영향을 좀 받을 것 같다는 예상은 어느정도 하고 있었죠
그래서 큰맘먹고 E3-1231V3를 주문해 뒀는데 마침 도착했네요.
문제는....... E3-1231V3는 VGA가 없어서.... VGA를 따로 꼽아야 하는데
B85M PRO4 보드는 PCIE슬롯이 2개 뿐이라....... VGA를 꼽을곳이 없습니다 ㅠ.ㅠ
그래서 PCIE가 아닌 PCI VGA카드를 구하기 전까진 CPU업글은 강제 보류상황이 되었습니다.
전송율이 절반이긴 하지만
테스트로 탐색기에서 대량의 이미지가 있는 폴더를 썸네일 보기로 해도 로컬드라이브에서 보는 것과 체감상 큰 속도 차이가 없었습니다.
CPU업글없이 그대로 사용해도 충분할 것 같다는 것이죠.
제가 CPU업글을 하는 이유는 제속도를 보려고 하는 것도 있지만
기왕 제대로 스토리지서버를 구축하는 김에 이것저것 프로그램을 더 돌려볼까 하는 생각에서 입니다.
아무튼 아직 구축이 끝나진 않았지만
한효석님의 팁으로 자리에서는 무척 조용하고
스토리지는 무한 확장되면서 사실상 로컬드라이브처럼 사용하는 환경에 거의 접근했습니다.
PCI VGA카드를 언제 구하게 될진 모르겠지만 구하게 되면 완성 모습과 전송율 테스트 결과를 다시 올리겠습니다.
10G NIC을 통한 iSCSI 구성도 해봐야겠군요.
(그런데 이렇게 하고 보니 결과적으로 NAS 하고 PC에 10G nic 달아서 연결한 것과 다름이 없게 되었네요. 400M/s 나오는 nas.....)
의외로 관련 중고 부품들을 저렴하게 구할 수 있어서 용기를 내고 있는 중 입니다.
제일 크게 지출된건 RAID로 묶기 위해서 한번에 다수의 HDD를 구매한게 큰 부담이였네요.
다만 시행착오를 하면서 쓸모없이 지출된 부분들이 아까울 뿐입니다 ㅠㅠ
언젠가 따라할 수 있는 그날이~ 오겠죠
저도 링크어그리게이션도 해보고 별짓 다 해보다가 결론은 그냥 빠른 네트워크 인터페이스가 정답이었다는 거죠...
속도를 제대로 확인 하려면 iperf 같은걸로 벤치 돌려도 되긴 합니다.. (윈도용 커맨드라인 툴도 있어요).
일단 링크와 관련해서 확인은 한번 해보세요.
그리고 저 400메가 속도는 디스크 한계 일수도 있지 않겠나...
생각해보면, 스토리지 컨트롤러가 3기가~6기가 일테니 10기가를 못뽑아 주는것일수도 있겠네요...
12기가 SAS 는 또 좀 다를수도.... ㅎㅎ
디스크 한계도 아닌게 분리 전에도 800m/s 혹시몰라 테스트pc에서도 확인해 보니 800m/s 였어요.
raid말고 1테라 디스크도 10g아니라 1g nic으로 네트워크 드라이브 확인해 보니 60m/s로 떨어지더라고요.
다른pc들은 100m/s 다 나오니 pc성능쪽을 의심허는 것이죠. ㅎㅎ
확실히 알 수 있는 방법이 pci vga 확보 후 cpu만 업글해서 테스트 해보는 것인데.....
저도 2670 공구에 참여한 상태라 대기중인 1231을 그냥 처분할까.. 고민 중 입니다. 일단은 400m/s도 충분하기에 당분간은 이 상태로 갑니다~
네트워크 전송속도는 3200Mbits/s 이니
대략 3Gbit/s 속도입니다. 이정도도 어마어마한 속도가 아닐까 합니다...부러워요...^^
고속(?)전송 세계에선 CPU성능도 영향이 있습니다.
Device I/O 작업은 CPU의 명령셋 중에 큰 영향을 미치는 요소입니다.
그래서 점유율 및 밸런스값이 크게 상승하는 결과가 나타납니다.
그래서 CPU입장에서 본다면 대용량 Disk I/O 큰 부담인것이지요.
끝으로, 10G 부럽습니다. 저도 가긴 해야하는데 총알이 후달려서 말이죠!!! ^^
지난번 글에서 팬의 바람이 안닿아서 4개만 장착 하셨다고 봤습니다....
뼈다귀를 두개 겹쳐서 사용하실 것이라면 뒷면 팬을 위..아래로 옮기면 가운데 하나더 장착 가능하지 않을까 싶네요....
그때는 뼈다귀에 팬 장착용 나사홀을 새로 만들어 줘야 되겠지만....
저기에 사용되는 팬은 창고 가면 한박스 가량 (4~50개 가량) 있었던것 같은데...필요하시면 몇개 보내드리죠...ㅎㅎ
그리고 바로 그 나사홀이 문제에요. 그런걸 뚫을줄 알면...
스토리지 분리 작업보다 허브랙 쿨링 작업쪽으로 갔을 것 같습니다 ㅠ.ㅠ
그리고 현재는 sata포트와 hdd bay가 여유로운 상태라
케이블 관리 차원에서라도 그냥 한 타워(?)에 8개씩 장착 한거에요 ㅎㅎ
지금 구성에도 또 시간이 지나 용량 부족의 압박이 오면
나사홀을 어떻게 뚫어야 하나 심각하게 고민하게 될 것 같네요....
죠짱님이 올리신 걸 보고 욕심은 나는데 어떻게 하는 건지 몰라서 고민하고 있었는데,
사진까지 올려주셔서 정말 큰 도움이 되었습니다.
저도 메인PC에 외장 4단 HDD를 여러대 물려쓰고 있습니다. (3T x 8 + 2T x 4)
데이터 백업용 PC를 조립 예정인데, 이 데이터들을 어떻게 옮길까 걱정했는데,
답이 보이네요.
RAID는 안정성 우려 때문에 하지 않는다고 한다면,
속도는 SATA controller가 결정할 듯 하고,
RAID 묶지 않은 SATA3의 경우 6Gbps이니 실 속도는 200-300은 나와주지 않을까요?
그렇다면 해볼만 한것 같습니다.
현재 기가비트 허브와 랜카드를 쓰는데도 알 수 없는 이유로 50MB/s 정도만 나오고 있거든요.
그리고, 메인PC에서 네트워크는 2개 만드신거죠?
하나는 기존 보드의 랜카드 네트워크와
하나는 10gb NIC에 의한 네트워크로요.
DISK가 하나 고장나도 계속 정상 운영되니까요.
그리고 RAID 5의 성능을 위해서 고가의 RAID 컨트롤러가 필요한데....
이 부분은 얼마전 ebay에 ASR-71605가 200달러에 올라온걸 이용했고요.
또한 RAID 5라고해서 만능은 아니기에 RAID여부와 상관없이 동일한 용량의 백업 구성을 했습니다.
날라가도 전혀 아쉬울게 없는 경우가 아니라면 최소 1:1 백업은 기본으로 해야 하는 것 같습니다.
(정 안되면 아마존 클라우드 서비스를 이용하더라도요...)
아무튼 RAID를 사용하지 않고... 200~300 나와주는 SATA 하드디스크라면..
궂이 10G 네트웍으로 가야할 필요가 있나 싶습니다.
저야 800정도 나오는 RAID라서 10G를 구성한건데요.
저희 허브는 그냥 아이피타임 아무거나 SG24000R 하고 그 비슷한거 하나 그리고 8포트짜리 저가형 허브 2개
전부 기가비트이긴 하지만 딱히 고가형은 아니고 대충 일반적인 것이고 PC도 성능은 별로인 것들인데
파일서버 (별로 안좋음...)나 테스트서버(역시 옜날꺼 i3 cpu 쓰는...)에 5400rpm 짜리 disk 네트워크 드라이브로 100~110m/s는 그냥 나옵니다.
물론 용량 큰 단일 파일일 경우지요^^
그런데 50m/s정도밖에 않나온다고 하시면 정말 이상하네요.....
아무튼 10G 구성한다고 하더라도 속도의 손실은 분명히 있을지도 모릅니다.
뭐라 확신있게 말씀을 못드리겠지만 2~300나오는게 아니라 100M/S로 나올지도 모르는 일이죠.
죠짱님이 저렴하게 판매하시는건 NIC하고 SFP라서 1:1로만 연결되지... 10G 스위치는 엄청 비싼걸로 알고 있습니다.
만약 저라면 먼저 현재의 그 알수없는 이유부터 어떻게든 찾아볼 것 같습니다..
오히려 HDD 장애 때문에 RAID를 주저하고 있습니다.
만약 깨졌을 때 HDD 하나에 해당하는 자료만 날리느냐, 모두 다 날리느냐이기 때문에요.
어차피 개인용 자료이고 테이프 백업을 하기 때문에, HDD 1개 복구는 가능하거든요.
IPTIme N6004, CAT.6, HP 기가비트 허브 정도 구성인데,
속도는 50M/s 이상이 잘 안나와요. 온보드 랜카드인게 문제일 수 있겠죠.
전부 인텔 기가비트 랜카드로 바꾸면 나아질 것 같은데, PCIE 갯수가 제한적이라 좀 문제네요.
10G 스위치는 아직 개인용으로는 좀 어려울 것 같구요.
그래서 10G RJ-45를 쓰는 랜카드 역시 구매하기 힘들 것 같고,
NIC & SFP는 범접 가능한 가격이길래 욕심을 부려볼까 했습니다.
제작년엔가 저희 사무실 네트웍이 마비 되어서 확인해 보니
어느 온보드(사실 1g nic은 전부 온보드지만) nic 하나가 문제인 경우였습니다. 만원짜리 랜카드 구해다 달아서 지금까지 문제없이 사용중이지요.
아무튼 제일 간단한 확인 방법은 램드라이브같은걸 만드셔서 먼저 로컬 복사속도가 100MB/S이상 나오는지 확인하시고
랜 케이블을 허브를 거치지 말고 다이렉트로 다른PC에 연결해서 복사속도가 제대로 나오는지 등을 각 컴마다 확인하는 방법으로 문제 지점을 찾아보시면 어떨까 싶네요.
물론 자금의 여유가 되시면 10G 를 구성해 보는것도 너무 큰 기대를 안하신다면 괜찮을 것 같습니다. 의외로 재밌거든요 ㅎㅎ
그런데 저번에 SSD 2개를 RAID 0으로 묶어서 재미좀 본 다음부터 고민을 많이 하게 되더라고요.
(1G/s BMT화면: http://www.2cpu.co.kr/bbs/board.php?bo_table=bmt&wr_id=1316: )
RAID는 말씀하신 단점은 분명히 있지만
저같은 경우 성능(전송속도)가 올라가는 RAID의 장점 보담은
디스크 각각의 여유공간관리가.... SSD의 경우엔 SSD용량이 워낙 작아서
그리고 HDD의 경우에는 HDD의 수량이 많아서 ( 12개 + 4개핫스왑 사용중이였습니다 ) 의외로 그쪽에
시간도 소비되고 여기저기 분산하느라 짜증나고 그런면이 더 컸습니다.
드라이브가 하나씩 늘어날땐 뭔가 즐거웠는데 관리 하느라 시간보내고 있노라면 짜증이 밀려오더군요..
그래서 그냥 전부 하나의 디스크로 확 묶어버리니 총 용량은 큰 변화가 없어도 남은 공간이 합쳐지니 더 효율적이 되더라고요.
문제는 안정성을 위해서 그냥 RAID 전용으로 새 DISK를 구매하느라 허리가 좀 휘었다는거죠...ㅎㅎ
공간관리의 압박이 없으시면 지금처럼 개별디스크를 쓰시는것도 나쁘지 않을 것 같습니다.
툭 빠지면 어떻하나 걱정되어 보입니다...하하
엄청 불안하죠;;;
지금은 그나마 서버랙 선반에 있어서 약간 안심하고 있긴 합니다만 누가 잘못 건드리면 대형사고입니다 ㅠㅠ
본문에 있지만 처음에 네트워크 언플러그됨이라고 떠서 당황했던 부분은 일부러 케이블을 뽑을필요없이 최소 3분정도는 기다려 주는 미덕이 필요했던 부분입니다. 최초 인식은 시간이 쬐끔 필요하더군요.
두번째 정보는 네트워크 설정 부분입니다. 다들 아시는 부분일꺼라 생각해서 본문에서는 거론도 하지 않았지만 혹시나 네트웍 부분이 약하신 분도 있을까봐 네트워크 직결로 연경시 직결 랜카드에 네트워크 설정하는 방법을 남깁니다.
A컴터
ip : 10.1.1.1
netmask : 255.255.255.0
gateway : 아무것도 입력하지 않음 <------ 필수임 매우 중요.
dns 둘다 : 아무것도 입력하지 않음
B 컴터
ip : 10.1.1.2
나머지는 동일
물론 10.1.1.1과 10.1.1.2는 기존에 사용중이실 내부 네트웍 192.168.0.* 를 제외한 사설 아이피 대역 아무거나 다 됩니다.
172.16.20.1, 172.16.20.2로 해도 되고 192.168.200.1, 192.168,200,2 로 해도 됩니다. 마지막 자리 1,2 가 아니라 22, 24등도 됩니다.^^