안녕하세요. 하드웨어 지식이 전혀 없어서 전문가 분들께 질문 드립니다.
현재 Dell 서버에 HDD 16개 장착하여 Elasticsearch 데이터 노드로 사용하려고 계획 중입니다.
여러 개 서버를 클러스터 구성할 예정이라 데이터 손실은 어느정도 감안을 하고 있습니다.(OS 파티션 별도)
궁금한 점은, 데이터를 상당량 읽고, 쓰고 할 예정인 서버인데
- 16개 디스크를 RAID0으로 묶어서 read & write 하는 것과
- 개별 디스크를 별도 파티셔닝하여 read & write 하는 것의 성능 차이
가 있을지 궁금합니다. 나무위키에서 봤을 때는 RAID0 구성이 이론적으로 디스크 수량이 비례하여 빠르다고 나와있는데요,
단일 디스크 성능이 비교가 아니라 16개 개별 디스크를 동시에 병렬로 기록한다고 했을 때 유의미한 성능 차이가 있을지 궁금합니다.
혹시 관련 정보를 알고 계신 분이 있으신지 문의 드립니다.
감사합니다.
데이터 복구능력/보호능력이 없습니다..
하드가 1개 고장 나더라도 묶은 디스크의 데이터를 운용할 수 있는 RAID 레벨이 RAID 5 입니다..
밑의 파티셔닝한 다는 것은 어떻게 셋팅하는지 100% 이해가 안됩니다..
구글링 하셔서 RAID 레벨에 대하여 공부해 보세요..
디스크 16개면 raid5도 불안하고 6도 불안하네요
이번투자로 5년 정도 사용하다 우발적인 사고만 대응 하실거면 레이드 6
사용하다 5년후 전량 교체
한 10년 쓰실거면 레이드 1+0 or 0+1 쓰면서 고장 별로 안나기를 기도하심이
따라서 데이터 안정성 문제보다는 성능적인 부분이 궁금해서 문의 드린 것이고요,
데이터량이 상당하기 때문에 거의 24시간 지속적으로 로그 기록이 될 예정입니다.
- RAID-0 구성으로 데이터 읽기/쓰기
- 여러 개 디스크에 병렬로 읽기/쓰기
두 가지 케이스의 경우 유의미한 성능차가 있을지 궁금합니다.
RAID 0의 이론적의 속도는 하드 1개의 속도 X 하드 갯수입니다.. 100MB/S x 16 = 1600MB/S
단 레이드 콘트롤러나 모든게 속도를 받쳐 줘야 합니다..
제가 궁금한 점도 그 부분입니다.
(가정)
- 디스크 개수 : 16개
- 디스크 쓰기 속도 : 100MB/S
- 100MB짜리 파일 16개 저장
(성능에 관한 궁금증)
- RAID0 구성 디스크에 파일을 저장하는 경우 : 1초(???)
- (멀티쓰레딩이 혹은 멀티 프로세싱으로) 16개 파일을 16개 디스크에 병렬로 저장하는 경우 : 1초(?????)
이러한 경우도 성능 차이가 발생할 수 있을까요?
싱글디스크를 노드 서버당 맵핑을 한다고 해도 그 싱글디스크가 그 노드의 부하를 다 견딜수 있는지도 의문이고
그리고 그런 클러스터링 서버에서 나오는 데이터를 받는 스토리지 서버는 RAID 0을 거의 사용하지 않습니다..
테스트 해봐야지만 알 수 있겠네요 ㅠ.ㅠ
ZFS도 있지만 ZFS 제대로 쓸려면 메모리 128G 이상은 써줘야 합니다. 랜덤 IO가 많으면 SATA 방식보단 SAS방식을 사용해야됩니다. SAS와 SATA 동일하게 구성해서 사용해봣는데 넘사벽이더라구요.
OS 영역 및 운영 관련 application들은 서버 연속성 때문에 SSD RAID 1로 구성하고,
디스크가 장애나도 데이터 손실이 어느정도 커버되는 데이터 영역을 HDD 영역으로 구성할 계획입니다.
회사 주요 분석 플랫폼으로 활용할 예정이라 시간도 많이 없고, 업무 시간에 테스트 해보기에는 한계가 있네요 ㅠ.ㅠ
말씀하신 부분은 추후 구성 가능한 경우 테스트 해보도록 하겠습니다. 조언 감사드립니다. :)
RAID 묶어놓으면, 디스크 장애시 그 디스크만 잽싸게 교체해서 리빌딩 하면 끝나는데, RAID 0 나 단일 디스크는 node down 시키고 작업하는 공수가 더 크게 들어서 그냥 RAID 묶어서 씁니다.
요즈음 나오는 여러 솔루션들이 RAID 보다는 HBA 구성을 권장하고 있고, 실제로 RAID 물리면 RAID 컨트롤러가 먼저 퍼지는 고용량 IO 가 발생하는 경우도 자주 있으니 해당 부분은 반드시 저 포함 다른분 말만 듣고 하시지 말고, 실제로 간단하게라도 BMT 굴려서 진행해 보셔야 합니다.
모 아니면 도
엄청 빠르거나 죽거나..
16개를 Raid 0 으로 잡으면 않되죠....
데이터는 하나도 중요하지 않다.. 라면..
이러면 써야하죠...
기업용 SSD 16개를 Raid 0로 잡아서 써보면 .. 성능 기가막힐 것 같습니다.