박문형 2024-08

잘은 모르지만 윈도우즈 포맷시 디폴트 섹터값이 4,096byte 이고요..

일반적으로 많이 사용되는 하드디스크의 디폴트 섹터 값이 512byte 입니다..

하드디스크 섹터값과 똑같이 맞추는 것이 아닌가 생각됩니다..

아마데우쓰 2024-08

네, 답변 고맙습니다~

무법자 2024-08

윈도우 저장소 풀로  레이드5,6  만들때는

예를들어 레이드 5일 경우  3, 5 , 9 개를 사용해야  -1을 해서  짝수 2, 4, 8로 만들어져서  빠르게 동작하는거 같더라고요
레이드6일때는 -2해서  2,4,8로 만들어야함...

그리고 섹터 크기를 크게해야 속도가 제대로 나오더라고요

[ 참고로  2, 4,8은 되는데 6은 안되냐? 6는  2로 나눌 경우 3개가 되서 안됩니다  짝수가되어야 잘 동작한다고 본거 같은데.. ]

그거 구글에서 검색해보면 나옵니다.

저는 이거 짜증나고 귀찬아서 그냥 9260-8i  이거 사서  레이드5로 구축했습니다

윈도우 소프트레이드로 하면  제가 말한대로 안하면 쓰기 속도가  엉망이 되서... 되게 쓰기 힘들더군요

박문형 2024-08

그리고 섹터 크기를 크게해야 속도가 제대로 나오더라고요




==> 아마 레이드 셋팅시 스트라이프 사이즈를 이야기 하시는 듯한데 이것은 안에 들어가는 데이터 크기에 따라 밴치마킹시 속도가 달라집니다..

만일 아주 작은 자잘한 파일이 무수히 많은 BD 데이터를 넣는 다면 스트라이프 사이즈를 크게 하면 속도가 더 처집니다..

물론 셋팅해서 밴치마킹히야 하지만 DB데이터 때는 스트라이프 사이즈를 64k /128k 정도만 해도 충분합니다..

대신 동영상 데이터나 영화 데이터 같은 덩치가 큰 데이터 파일들이 많은 경우는 스트라이프 사이즈를 크게 하면 속도가 빨라집니다..

이것은 대략 512k sk 1M 정도면 될 텐데 아마 SAS RAID 카드 중에서는 스트라이프 가장 큰게 1Mb 입니다..

그리고 보통 캐쉬 메모리 달린 요즘 사용되는 레이드 카드는 스트라이프 사이즈가 256K 정도가 디폴트로 되어 있습니다..

dateno1 2024-08

기본적으로 성능이 별로라 그닥 추천하고 싶지 않습니다 (차라리 온보드 레이드가 더 나을꺼에요)

1. 용도에 달림
2. 패스
3. 애초에 디스크의 물리적 섹터랑 크기 맞추면 장점이 있긴한가요?

아마데우쓰 2024-08

링크의 글을 읽어보면..
물리적 섹터랑 맞추지 않았을 경우..
그러니까 디스크는 512인데 저장소풀이 4k일 경우, 하나의 섹터를 읽어서 처리할 때에도 4k를 읽어서 처리해야 해서 오버헤드가 발생한다는 요지입니다.
링크 글 대로라면 장점이 있어 보입니다. ^^

dateno1 2024-08

문젠 요즘 고용량 하드도 4k였을꺼에요

거기다 컨트롤러나 호스트의 케쉬는 장식이 아니고, 애초에 그 오버헤드란게 HDD의 헤드 이동으로 인해 발생하는 몇십ms에 달하는 엄청난 딜레이에 비해 얼마나 되는지도 불명입니다

그런데 섹터 사이즈를 넘 줄이면 너무 많은 엑서스가 발생하는데, 랜덤 디스크 + 랜덤 위치에 있는걸 일일히 헤드 옴겨서 찾아서 읽는데 드는 오버헤드는 고려 안 하는걸까요? (예를 들어 0.5k면 1메가 읽을떄 2048토막, 4k면 256토막이니까 탐색 회수에서 차이가...)

이외에 컨트롤러나 시퓨가 RAID 페리티 계산하는데서 발생하는 리소스 소비랑 지연도 계산해야 합니다

애초에 요즘 시대에 SSD 성능 너무 높아져서 HDD 아무리 발악해봤자 별 수 없어요 (고성능 필요하시면 HDD 쓰지마세요)

아마데우쓰 2024-08

네, 답변 고맙습니다.
파일 저장용이라 고성능이 필요하지 않아 HDD 사용하는 것입니다.
말씀해 주신대로, 계산해 볼 것이 많네요~

dateno1 2024-08

보통 레이드 섹터 사이즈는 용도에 따라 설정하는 경우가 많습니다

주로 다룰 파일의 사이즈랑 개수, DB처럼 랜덤 성능에 민감한지 유무같은걸로 저울질해보세요

술이 2024-08

패리티 쓰지 마세요

소프트레이드는 무조건 미러와 미러스트라이프 즉 양방향 미러입니다.

ZFS도 윈도우 저장소풀도 패리티 방식은 그냥 노답입니다. 기업도 이런경험과 데이터가 많다보니 패리티 안씁니다. 오로지 1+0을 쓰더군요.

기본값을 추천합니다. 디스크가 4K속도 빠르게 한답시고 섹터포맷을 조정했다고 한들 SSD 발톱수준에도 못미치는 영향을 주기에 의미 없다고 봐야됩니다. 디스크로 아무리 튜닝을 해도 그냥 거기서 거깁니다.

전 스토리지풀에 NVME를 읽기캐쉬에 배치하고 메모리도 100G 정도 캐쉬에 배치해서 썼었습니다.(프리모캐쉬) ZFS랑 거이 비슷해서 스토리지 성능은 빨라서좋고 4K 지연문제도 캐쉬빨로 쉽게 해결되기도 합니다.

아마데우쓰 2024-08

그렇습니까? 술이 님께서 그렇게 말씀하시면 따라야 하는데.. ^^

패리티 방식이 노답이라는 것이..
1) 성능이 너무 느려서 인가요?
2) 아니면 뭔가 문제가 있는 것인가요?

성능 문제는 프리모캐시를 사용하려고 하고 있어서 크게 걱정은 안 합니다만..
프리모캐시를 이용해도 패리티는 비추천인가요?
이유도 조금만 더 자세히 말씀해 주시면 도움이 되겠습니다.

답변 고맙습니다~

술이 2024-08

쓰기속도가 처참합니다. 레이드5 쓸거면 하드웨어 레이드에 프리모캐쉬 쓰는게 훨씬 관리가 편하고 성능도 좋습니다.
저장소풀 쓰는게 용량 다 차면 바로 디스크 꼽고 계속 확장이 가능하니까 그런용도로 사용되는게 목적입니다.

아마데우쓰 2024-08

네, 답변 고맙습니다.
쓰기 속도가 처참하다.. 알겠습니다.
이리 저리 테스트 해 보겠습니다.

김은호 2024-08

술이님 말씀대로 패리티 및 듀얼패리티는 GUI에서 설정하면 성능 안나와서 반드시 파워쉘에서 설정해야합니다.
그리고 저장소공간 성능이 정상적으로 나오는 하드개수는(정확히는 설정하는 컬럼수) 듀얼패리티 RAID6기준으로 4개/6개/10개 단일볼륨 구성할 때 나옵니다. 참고로 싱글패리티일 때는 3개/5개/9개 단일볼륨 구성.

따라서 7개쓰겠다면 7개를 같은 풀에 집어 넣고 그중 6개를 RAID6걸고 나머지 1개를 핫스페어로 설정하는 게 좋습니다.

파일시스템의 클러스터 사이즈는 반드시 밑의 공식에 맞춰서 설정하면 그나마 잘 나옵니다. 기본은 256Kb로 설정되는데 아래 공식에 따라 변경하거나 파일시스템의 클러스터 크기를 크게 해줘야 합니다. 안그럼 파일복사시에 수MB/sec찍는 모습 볼 수 있습니다.

NTFS 등 파일시스템의 cluster size=
pool 볼륨의 Interleave size x (number of columns - 2)
예) interleave 64KB * ( 6column - 2) = 파일시스템 클러스터 사이즈 256KB
이렇게 맞추면 시퀸셜 읽기 약 600MB, 쓰기 150정도 나올겁니다

싱글패리티의 경우 공식
cluster size = interleave * (# of column -1)

이 모든 게 서버버전으로도 GUI로 쉽게 설정이 안되니까 쓰기가 어렵습니다.

이게 HDD로만 구성된 레이드면 티가 그나마 덜 나는데, SSD도 끼워넣는 계층화(TIERED)구성하면 이상하게 처참하게 떨어지는 상황을 볼 수 있는데 위의 공식에 안맞춰서 설정하면 IO에서 블록단위 사이즈 변환하느라 성능 다 깎아먹어서 그럽니다.

아마데우쓰 2024-08

아, 상세히 설명해 주셨네요.
고맙습니다.
제 질문글의 링크글과 비슷한 말씀이신 것 같습니다.

공식까지 주시니 고맙습니다.
'number of columns'라는 건, 볼륨을 구성하는 디스크 개수를 말씀하시는 것이죠?

그리고, Mirror를 사용하면 이런 공식 상관 없이, 그냥 GUI에서 가상디스크 생성해서 사용해도 별 문제 없을까요?

김은호 2024-08

네. 지금 상황에서는 디스크 개수로 봐도 됩니다. 듀얼패리티의 최소구성하드수가 7개니까 7개를 풀에 넣되, 실질적구성요소로 컬럼설정을 6으로 지정하고 나머지 1개를 핫스페어로 지정하면 될거에요. 안그러면 데이터가 죽도밥도 아닌 블록사이즈로 쪼개져서 분산되기에 쓸데없는 IO가 증가해서 성능 저하됩니다.

미러는 그냥 해도 되긴하는데 이것도 파워쉘에서 설정하는 게 가장 좋습니다. 파워쉘로 하면 RAID10이나 RAID51도 가능합니다.

아마데우쓰 2024-08

네, 답변 고맙습니다~

박문형 2024-08

페리티 계산(RAID 5/ RAID 6/RAID 7<???>)을 재대로 하려면 (빠르게 하려면) 전용 프로세서(엑셀레이터)가 필요합니다..

그래서 캐쉬 달리고 RAID엔진이 달린 하드웨어 레이드 카드를 사용하는 것입니다..

아마데우쓰 2024-08

네, 알고 있습니다.
다만, 레이드카드의 경우.. 장애 발생시 빠른 대처가 쉽지 않아서 꺼려집니다.
속도/성능 보다는, 장애 발생시 빠른 대처가 더 중요해서 OS에서 제공하는 S/W RAID를 사용하려고 하는 것입니다.

그런데 하도 반대 의견이 많으시니.. 하드웨어 레이드 카드도 좀 고려해 봐야겠습니다. ^^

박문형 2024-08

장애 발생시 빠른 대처가 불량 하드 발생하면 빨리 다른 하드로 바꾸는 것을 이야기 한다면 디스크를 하나 더 달고 글로벌 핫스압으로 셋팅하면 됩니다..

물론 레이드 엔진에 이 기능이 있어야 합니다..

핫스압디스크를 셋팅하면 불량디스크 발생시 핫스압디스크로 리빌딩을 시도합니다..

핫스압디스크는 여러개 셋팅할 수도 있습니다..

그런데 저 정도로 큰 하드디스크에 소프트 레이드로 셋팅시 아마 리빌딩 시간이 상당히 길어질 텐데요..
직접 테스트 해봐야 정확하지만 하루 이상 몇박 몇일 급이 될 수도 있습니다..

물론 리빌딩시 중간에 시스템이 꺼지면 안됩니다..

그리고 그보다 장애 처리시 돈들어도 꼭 해두면 좋은 것은 핫스압베이 시스템입니다..

장비를 끄지 않고 디스크를 교환 할 수 있습니다..

핫스압베이도 재대로 만들어진 검증된 것 쓰셔야 고생을 덜합니다..

아마데우쓰 2024-08

다른 하드로 바꾸는 것을 말씀드리는 건 아닙니다.
레이드 컨트롤러 자체에 장애가 발생했을 때, 빠른 대처가 어렵다는 말씀입니다.
(조립 서버다 보니, 벤더에 연락하고 그러지 못합니다.)
핫스왑베이는 구성해 두었습니다. ^^

박문형 2024-08

레이드콘트롤러 자체 불량 에 대한 대응법은 현재 장비로는 아마 불가능 할 듯 합니다..

박문형 2024-08

스토리지도 사람이 만든 것이라 고장나고 문제가 생깁니다.. 중요 데이터가 있다면 다른 독립된 시스템에 데이터 백업을 여러번 꼭 해두세요..

레이드장치는 관리가 중요합니다..
관리가 잘 되어야 오래 사용 가능합니다..

레이드 장치를 24시간 사람의 눈으로 모니터링을 할 수는 없지만 (불가능하지만) 레이드 엔진에서 로그가 발생하면 이메일을 보내거나 하는 기능이 있습니다..

어떤 컴퓨터 장치든 메뉴얼대로 움직입니다..