구차니안녕하세요 가입만 하고 글쓴적이 없이 초보 회원입니다.
회사에서 사용중인 모델은 Dell PowerEdge R630 / R730 이며 PERC H730 mini RAID(LSI)가 달려있습니다.
== RAID 문의 ==
1. R730은 최대 16베이 지원하나 초기 8베이로 구매하였습니다.
기술지원은 만료된 상태이며, 백플레인만 구매해서 교체하면 가능한지 궁금합니다.
(백플레인 펌웨어 이야기도 있고 해서 호환성이나 기본 사양에서 벗어나면 안되는지 궁금합니다)
2. 1.2T 10k SAS 사용중입니다. 트레이에 핫 스왑으로 삽입시 소리가 나는게 정상인지요?
predictable failure를 출력하진 않지만, 쇠긁는 듯한 소리가 나서 신경이 쓰입니다.
개별 하드에 대한 S.M.A.R.T 정보 확인이 가능한지요?(iDRAC에서는 정상으로만 나옵니다)
3. 2번에랑 합쳐져서 오래된 하드이다 보니 RAID5로 8개 묶어 써도 될지 좀 불안합니다.
저장공간확보라는 측면에서 RAID5 나 RAID6가 고려사항인데, RAID로 여러개 하드를 묶어 운영해본 경험이 없어서
다른 분들의 의견이 궁금합니다. raid5 로 8개 하드를 묶어 써도 (2~3년 된 하드) 큰 문제는 안될까요?
4. 현재 R730 2대가 모두 8베이 입니다. 각각 레이드로 묶어서 하나의 볼륨으로 사용할 수 있는 방법이 있을까요?
nfs 등을 통한 디렉토리 단위로 쓰는게 아니라 단일 볼륨으로 쓰는 방법이 있는지 문의 드립니다.
5. dd if=/dev/null of=test bs=1024M 이런식으로 테스트 해보면 1GB/s 정도로 속도가 잘 나옵니다만
몇번의 쓰기 이후에는 속도가 700MB/s 정도로 떨어집니다. RAID 컨트롤러에 1GB의 캐시가 있어서 그런것으로 생각 됩니다만
8베이 중 4베이씩 RAID5로 구성해서 서로 복사하면 200~300MB 정도로 밖에 속도가 나지 않습니다. (30~200GB 짜리 파일이었습니다)
RAID5 쓰기 속도는 향상이 없는가요? read ahead, write back을 지정한 상태입니다.
== CPU 문의 ==
R730에 E5-2643 v4 * 1, E5-2643 v3* 1이 장착되어 있습니다.
동일한 스펙이지만 브로드웰과 하스웰로 세대가 달라서 동일한 메인보드에 꽂아도 작동이 될지 모르겠습니다.
혹시 SMP를 구성시 v3와 v4로 구성해보신분 있으신지 질문드립니다.
즐거운 연휴 되시길 바랍니다.
읽어주셔서 감사합니다.
플렉스 베이라고 한다면 16베이로 확장이 가능한데 플렉스 베이가 아닐 경우엔 리벳으로 고정되어 있어서 사실상 불가능하다고 봐야 합니다.
2. 저도 같은 경험한 적이 있습니다. 간혹 미세하게 나는 경우이긴 했습니다만 개체 특성이라 여기고 넘겼네요.
3. 운영하는 입장에서 판단해야할 부분이라 보입니다.
4. 글러스터를 이용하면 가능할 거 같은데요
5. RAID 5 는 읽기 속도만 향상이 있습니다.
2. 언젠간 찾아서 뽑던가 해야지 불안해 죽겠습니다.
3. 어짜피 확률게임이라 터지면 터지는거니 어쩔수 없는 거긴 합니다..
4. 좋은 키워드 감사합니다.
5. 역시나 였군요. 역시 10k SAS 하드 성능이 어마어마 한거였군요
글러스터 한번 확인해 보겠습니다 답변감사합니다.
즐거운 연휴되세요~
http://www.2cpu.co.kr/QnA/621140?&sfl=wr_name%2C1&stx=%B0%A3%C0%E5%B0%D4%C0%E5&sop=and
이 프로그램 돌리시면 하드에 대한 많은 정보를 볼수 있습니다..
A3 : 하드는 소모품입니다.. 하드가 몇년 되었던 간에 부하가 크고 꾸준히 읽고 쓰기를 했다면 그 하드들은 빨리 고장납니다..
반대로 읽고 쓰기가 거의 없다면 하드는 오래 갑니다..
이런 하드는 몇년 버틸수 있다 그런 법칙은 없습니다..
보통 기업용하드는 무상 워런티가 3년 정도이니 3년까지는 보통 별일 없이 쓸수도 있습니다..
(빨리 죽는 하드는 꼽자마자 죽는 것도 있습니다..)
A4 : 질문이 무엇을 뜻하는지 이해가 안갑니다..
A5 : 레이드 묶을때 스트라이프 사이즈는 얼마인가요?? 보통 256K를 주고 DB같은 자잘한 화일이 주라면 64K를 줍니다..
CPU 문의 : V3 /V4 CPU는 혼용해서 사용 못합니다..
어쩔때는 같은 모델이라도 SPEC 값이 달라서 같이 못쓰는 경우도 있습니다..
A3. 개별 하드 워런티 남아있나 확인을 해봐야겠네요.
A4. 또리군님이 적어 주신 것 내용 처럼 네트워크 레벨에서 볼륨을 묶는 것을 찾고 있었습니다.
A5. 기본값으로 했고 개발용이라 단일 파일이 크지 않아서 xfs / 64KB stripe 로 설정했습니다. DB는 크게 잡는다고 들었는데 반대인건가요?
CPU. 찾아본 글에서는 QPI 속도와 L3 캐시 용량만 동일하면 가능하다는 말도 있어서 시도해보고 싶기도 하구요. 그래도 공정이 달라져 전압이 다를까 시도하기는 겁나네요
심지어 도스용까지 있는데요..
V3 /V4 땜시 고생한게 있는데
V3는 CentOS 6.7이 돌아갑니다..
V4는 안돌아갑니다..(설치가 끝까지 안되고 로그 뒤져 보면 에러가 납니다..)
CentOS 7.3 이상에서나 돌아갑니다..
그리고 보통 V3만 인식하는 바이오스가 맨첨에 나오고 나중에 V4가 나오면 그때 두가지 다 인식하는 바이오스가 나옵니다만
이거 바이오스 업그레이드 어떨때는 만만하지 않습니다..
혼용하지 못하게 한 것은 인텔의 룰이기에 어떻게 할 수가 없습니다..
CPU 구조가 완전히 달라서 그런 것으로 알고 있습니다..
그리고 제조사에서는 잘 된다라고 나오는데 실제는 안되는 경우도 있습니다..
iDRAC 에서 firmaware 업데이트 하려는데 마음 먹은대로 업데이트가 잘 안되긴 하더라구요
겨우겨우 iDRAC만 업데이트 성공했습니다.
2.5인치 HDD 최대 16개
3.5인치 HDD 최대 8개입니다..
내장된 레이드카드가 최대 8체널짜리이기에 3.5인치 HDD는 직결로 연결되며 핫스왑 백플레인이 직결 방식일 것입니다..
2.5인치 HDD버젼은 SAS EXPANDER 핫스왑 백플레인을 사용할 수 밖에 없습니다..
이 서버를 디스크 용량을 키우고 싶으신 듯한데 이럴때는 외장 SAS RAID 카드 (Dell PERC H830 RAID 어댑터 용 외장 MD14XX Only, 2 Gb NV cache, 전체 높이, Customer Kit)
같은 것에 DELL JBOD BOX (Dell Storage MD1400 and MD1420 ) 를 설치하면 됩니다..
물론 디스크도 채워 넣어야죠..
https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/DellStorage_MD1400_MD1420_082114.pdf
채널은 2채널인데 최대 장치는 255개라고 써있습니다
이경우에도 백 플레인만 교체하여 16개 쓸 수 없는지요?
죄송하지만 채널과 디스크 갯수의 연관 관계를 이해하지 못해서 그러는데 조금 설명이나 관련 링크를 얻을 수 있을까요?
16베이 2.5인치 16개
아마 케이스 구조가 전혀 달라서 백플레인 호환이 안될 겁니다..
이건 델 엔지니어 혹은 기술영업에게 물어봐야 합니다..
그리고 3.5인치 하드는 현재 개당 최대 14TB가 최대 용량이며 델 하드 파트는 개런티 된 하드 최대 용량 찾아 보세요..
2.5인치 하드는 현재 개당 최대 2TB인가가 최대 용량일 것입니다..
이건 하드 크기와 플래터 제조기술력의 한계 때문입니다..
회사의 델제품은 중고를 샀을리는 만무하고 돈 다주고 샀을텐데(워런티는 남아있을지 모르지만)
왜 델쪽 기술지원은 못받고 여기에서 모든 답을 찾으려고 하시나요??
처음부터 기술지원을 안해둔건지 말이죠.
아무튼 제가 입사하기 전에 구매한 서버라 그런 기술지원에 대한 정보가 없어
간접적으로 조사하다보니 여러분들 번거롭게 해드리는것 같아 죄송합니다.
고생하시는 것 눈에 보입니다..
무슨 데이터를 움직이는지 모르겠지만 레이드 장비에 들어간 데이터는 백업하지 않고 관리하지 않으면
데이터 망실의 위험이 커집니다..
데이터 날려 보면 아시겠지만 대용량 데이터를 날려멱으면 담당자는 몇일 멍하니 시체가 됩니다..
제가 얼핏 보기에는 데이터 백업부터가 우선일 듯한데 아마 회사에서 그리 쉽게 장비를 구해주지는 않을 듯합니다..
서비스 장비 날려먹었을때 대처안을 마련해서 건의라도 해보세요..
나중에 그말 안듣고 회사에서 데이터 날려 먹어 보면 담당자는 그나마 조금이라도 심한 문책은 피합니다..
하드웨어는 돈주고 구매가 가능하지만 만들어진 독자 데이터는 날려먹으면 영영 돌아오지 못합니다..
쓰지도 않으면서 전기만 먹고 있고, 전 담당자가 무슨 만행인지 모든 볼륨을 RAID0로 묶어 놨더라구요
(추측으로는 RAID 메뉴 가장 위에꺼가 Auto Configuration RAID0 였기에 그걸로 하지 않았을까 합니다.)
R420 (2cpu)
SAS 7.2K 1T * 2 RAID0
SAS 10k 1.2T * 2(foreign)
R630 (2cpu)
SSD 500Gb * 2 RAID0
SAS 10k 1.2T * 6 RAID0 (요기서 거품 무는 줄 알았습니다. 가뜩이나 하드 긁는 소리가 나는데 말이죠)
R730(v3)
SAS 10k 1.2T * 4 RAID0
R730(v4)
SAS 10k 1.2T * 4 RAID0
전부 요렇게 구성해놨더라구요.
관리도 안된 녀석들을 어떻게 써왔는지도 감이 안오는데 몇개 하드는 띠극띠극 소리내고 있고
RAID5로 한다고 하더라도 백업은 별개인데 개별 스토리지 용량이 적은 2.5인치 SAS 들 뿐이라 골머리만 썩고 있습니다.
SW 개발 회사다 보니 git으로 관리하는데 그것도 백업안하고 있고 하나하나 고쳐 나가는 중입니다.
담당자는 아닌데.. 다룰줄 아는 인원이 저 뿐이라 경력직 입사하고 나서 바로 총대메고 가상서버 이전하고 하면서 열심히 구르고 있습니다.
아무튼 현재 계획은
가상화 서버에(kvm) SSD 512M * 2 RAID1으로 구성하여 가상서버 이미지 파일 저장으로 쓰고
SAS 1.2T * 6 RAID6 으로 구성하여 삼바(samba) 스토리지로 쓰고
R420 3.5인치 라서 전기가 좀 아깝지만 대용량 SATA 하드 사서 단일 볼륨 혹은 RAID1으로 구성해서 백업용으로 사용하려고 하는 중입니다.
내부 전송속도 한계랑 RAID5 속도 한계로 인해서 옮기는데도 오래걸리고 죽을 맛이긴 하지만
개발업체가 스토리지 날려먹어서 일 못해요 소리는 안나오게 해야 하니까 좀 더 고생해 봐야겠습니다.
정성어린 답변 감사드립니다.
제가 말하는 체널은 PHY 갯수인데 SATA/SAS 하드가 최대 8개가 직결로 붙습니다..
https://www.broadcom.com/products/storage/raid-controllers/#tab-12Gb1
여기 링크에서 Port의 갯수입니다..
1개의 MiniHDSAS 커넥터는 4개의 포트를 수용합니다..
http://www.2cpu.co.kr/sell/300471
사진 참조
최대 지정장치 수량은 1개의 SAS 콘트롤러가 최대로 콘트롤 할 수 있는 Port (체널)의 갯수입니다..
이만큼 연결하려면 SAS Expander 라는 칩이 필요합니다..
https://www.broadcom.com/products/storage/sas-expanders/
이것은 보통 4개의 Port 를 SAS RAID카드와 연결하여 255개짜지 계속 확장이 가능합니다..
http://www.2cpu.co.kr/freeboard_2011/1016043?&page=6
https://www.supermicro.com/manuals/chassis/4U/SC846_JBOD.pdf
모르는 부분이 많았는데 좋은 내용 감사합니다.
대표님과 이야기 해서 Dell 기술지원 유료라도 한번 상담받아 봐야겠습니다.
즐거운 하루 되시기 바랍니다.
델은 콜센터 기술지원이 국내 사람이 하는게 아니고 중국 조선족이 나옵니다..