하둡을 공부 중인데, 마스터 노드는 JBOD를 권장한다 하더라구요.
헌데 RAID0은 레이드로 인해 생기는 관리 오버헤드 때문에 추천하지 않는다고 하더라구요.
헌데 RAID0은 R/W 이득이 관리 오버헤드로 인한 손실을 충분히 만회하지 않나 싶어서 이렇게 질문립니다.
어차피 HDFS가 알아서 분산 저장을 해주니 JBOD도 성능 이득이 있고, 따라서 RAID0이 불필요하다 라고 이해해도 될까요?
하둡을 공부 중인데, 마스터 노드는 JBOD를 권장한다 하더라구요.
헌데 RAID0은 레이드로 인해 생기는 관리 오버헤드 때문에 추천하지 않는다고 하더라구요.
헌데 RAID0은 R/W 이득이 관리 오버헤드로 인한 손실을 충분히 만회하지 않나 싶어서 이렇게 질문립니다.
어차피 HDFS가 알아서 분산 저장을 해주니 JBOD도 성능 이득이 있고, 따라서 RAID0이 불필요하다 라고 이해해도 될까요?
본문에 적어둔 관리 오버헤드도 레이드가 깨졌을 때를 대비해서 백업 시스템 구축하고 관리하는 것에 대한 오버헤드가 아니라, 레이드 컨트롤러 차원에서 생기는 오버헤드를 의미한 겁니다.
따라서 콘트롤러 성능만 된다면 여러개의 하드를 묶어쓰면 성능이 팍팍 올라갑니다..
좀 더 심한 짓을 하면 SSD나 NVME 스토리지 디바이스를 묶으면 되지만 돈도 돈이고 이런건 여러개 묶어도 속도가 이론치 만큼 안 나올때가 많습니다..
레이드 콘트롤러 성능이 더 중요하겠죠..
RAID 0 에서는 1개의 하드에 베드 섹터만 나도 통째로 다 날라가는 경우가 있습니다..
(레이드 콘트롤러가 하드 직접 콘트롤하면서 최대한 날라가는 것은 막겠지만 돌아가다가 배드가 쫙 늘면 답 없습니다.)
그 외에 레이드 카드가 하둡을 사용하는 OS와 하둡을 얼마나 잘 지원하느냐가 진짜 중요합니다..
저는 말씀하시는 JBOD를 그냥 보드에 하드 1개 달아서 OS용으로 사용하는 정도로 보고 있는 것입니다..
이 책을 보면 이유가 나오네요.
HDFS에서 분산처리를 하는데 RAID0 사용하면 이중으로 분산저장 하는 것으로 이해하면...