안녕하세요
요즘 r730기종 IO문제로 계속 머리싸매고 계속 질문글 올리고 있네요..
dell 에 문의를 해봐도 도움을 줄 수 없다고 하고
벤치마킹 결과에 대해서도 기술지원팀이 권한이 없어 열람을 못한다고 하니 참.. 워런티 끝나면 허수아비 고객센터란 생각이 듭니다.
담당세일즈 없으면 아무것도 안되나봐요..
저희같은 경우는 반은 호스팅후 소유권이전 받은거고 반은 중고구매라 세일즈가 없어서 도움받을 구석이 없네요
저희가 테스트한것은 호환성목록에는 없는 ssd이긴한데 860pro 로 테스트했습니다.
20개,24개,26개(리어베이포함) 테스트를 해봐도..
dd 명령어로 테스트 기준이긴한데
r740 기종의 경우는 속도가 잘 나와줍니다.
디스크 6개 기준으로 레이드10인데 1.5~2G정도만 나와줘야하는데 이건 또 2~3G넘게 나와서 의아하고.. (dd명령어기준)
그런데 r730의 경우 디스크 20개가 레이드0으로 붙여봐도 1.5G를 못넘네요.. 평균 6~700MB선..
뭘 기준으로 측정해야 좀 정확한 측정값을 얻을수있을까요?
벤치마킹 기준보단 실제 데이타전송 기준으로 봐야하는 상황입니다.
(DB서버로 활용될 예정입니다.)
Dell 에서는 H730p의 최대대역폭이 어떻게 되냐는 질문에도 답을 못해줍니다.. ㅎㅎ..
최대 7.8G/s 8배속은 나오는것이 맞냐고 질의했을때 답이 정확하게 말씀드릴수없습니다. 스펙시트에 따릅니다라고 하니
뭘 더 얘길 하고 싶지 않더라구요..
비호환품이라 그런가 싶어 여기 회원님 도움 받아 12G SSD 를 좀 빌려 다시 테스트해볼것이긴한데
유튜브에서 해외 사례들을 봐도 720~730 기종에서 dd명령어로의 수치가 1.5G 언더인것 같아서..
다른분들께서도 r730 급 정도 수준에서.. 5G씩 나온다고 하신분들 혹시 dd명령어로 1G파일 복사테스트시에 어느정도 퍼포먼스 나오는지
공유좀 부탁드리겠습니다 ㅜㅜ
14세대의 Ram Bus 대역폭은 무시못하는 걸까요..?
제가 r740 한대 중고로 살돈으로 r730 3대와 메모리를 사자고 우겨서.. 진행했는데 퍼포먼스가 안나와서
입장이 난처한 상황이라..
이렇게 도움을 구해봅니다 ㅜㅜ
저런 것은 돈 많은 회사 임원들도 잘 안하는 것입니다..
본인이 회사 지분 100% 급을 가지고 있는 오너에 관련기술 세계 10위 안에 들면 가능합니다..
도입된 장비 문제가 나올때 마다 회사에서는 책임지라고 하면서 계속 일이 늘어날 듯합니다..
내부 밴치 마크 자료 성능 자료등은 제조사에서 일반인에게 공개 안합니다..
보통 그런 자료 받는 사람은 본사와 배포 안하겠다는 사인 받은후 자료를 받습니다..
밴치마크 자료의 숫자는 밴치 마크 프로그램 마다 환경에 따라 다르기에 절대적이지 않습니다..
https://os.korea.ac.kr/papers/domestic_confer/hcpark_kcc_2010.pdf
https://www.ibm.com/docs/ko/license-metric-tool?topic=requirements-running-hard-disk-tests
기준이 없기에 본인이 테스트 프로그램 선정과 기준을 세우고 테스트 하셔야 할 것으로 생각됩니다..
https://honglab.tistory.com/80
어찌 보면 유명한 어찌보면 요즘 사람들은 모르는 시스템 모니터링 툴입니다..
r730과 r740의 dd명령어로 디스크IO시에 2~3배 차이가 현실적인것인지 기준이 없어서..
자꾸 선배님들께 자문을 구하게 되네요
내부 BMT 자료는 일반적으로 공개하지 않는 게 맞지만, 스펙이나 기술 관련 문의는 계약이 살아 있다면 잘 답변해 줍니다.
벤더 서포트가 필요하다면 신품으로 구매하시는 게 맞습니다.
특히 비점품 파트 사용시, 벤더에서 공식적으로 답변할 수 있는 내용은 '정품 파트를 사용해야 합니다' 뿐입니다.
하다못해 디스크 한 장도 펌웨어 관련 이슈가 생길 수 있기 때문에 함부로 게런티 할 수가 없습니다. 지원 계약이 살아있지 않다면 더욱 그렇구요
계약이 살아있을때도 구매처는 호스팅사다보니 따로 질의할일이 없었고
지금 DB서버 IO문제가 대두되고 있어서 이제와서 멀쩡히 가동되는 시스템들이 있는데
새 시스템 사자고 하는것도 무리가 있어서요.
워런티 연장을 한다고 해봤지만 워런티연장해도 하드웨어는 단종되어 제품 못구한다고 하니 이도 의미가 없어서 연장을 하진 않았습니다.
제가 dell에 질의한것은 860pro 에 대한 답변이 아니라 h730p에서 정품파트 사용했을시 대역폭 최대치가 어떻게 되는지에 대한 질의였는데 이조차도 답변할 수 없다고 안내 받았습니다.
하드웨어는 다 정품파트이구요 당연히.. 860pro를 기준으로 답달라고 한것은 아니었습니다..
그리고 당연 신품으로 구매했었던거고 단지 워런티기간동안에는 이슈가 없었을뿐입니다.
호스팅사 통하지 않고 직접 구매했다면 담당셀러가 있을텐데 그러지 못해 아쉽습니다.
그리고 DB 서버인데 디스크 순차성능을 따지는 것도 말이 안 맞고, 벤치마크 성능이 필요하지 않다면서 DD로 성능 테스트를 하는 것도 이해가 되지 않는 부분이네요.
실 성능 테스트가 필요하다면 실서버 워크로드를 기반으로 Capture&Replay를 해야 할 것이고, 제한적이나마 타겟 워크로드에 가까운 BMT를 하려면 DVDStore나 TPC-C를 추천드립니다.
그리고 일반적인 경우 RDBMS는 램만 충분하면 디스크 대역폭은 크게 중요하지 않습니다. 디스크 응답속도는 빨라야 하지만, 애초에 버스트하게 쓰질 않으니 최대 대역폭은 별 상관이 없죠. 제가 볼 때는 퍼포먼스 테스트의 핀트를 완전히 잘못 잡고 있는 것으로 보입니다.
우선 실시간 DB insert와 select 둘다 수행하면서 DB서버끼리 실시간으로 싱크를 맞춰야해서 IO를 중요하게 보았습니다.
비용부담을 할정도로 전문회사는 아니고 회사 투자금도 아직 안들어와서 자금사용에도 제한이 있어
솔루션이나 클라우드로 처리할 수 없어 최대한 주어진 자원내에서 처리 하려다보니 비전문가가 처리하기엔 계속 이렇게 도움동냥하여 처리할 수밖에 없어 늘 송구할뿐입니다.
여러글을 읽어보았을때 TPS 등이 SSD가 엄청나게 중요하지 않다는것을 얘기하고 있지만 이는 DB 운영시만을 위한 얘기인듯하고
DB서버간 실시간 싱크를 위해서는 IO성능이 받쳐주지 않으면 서로 싱크를 못하다보니 최대한의IO를 찾게 되었고
제가 포커싱한것은 메인DB서버 만큼의 성능이 나와야한다는것에 포커싱 하다보니 계속 IO에 온심혈을 쏟고 있었네요.
무엇보다 r730xd 에서 ssd 20개 이상을 레이드0으로 묶으나 10으로 묶으나 속도가 안나오는 것에 이게 서버문제인지 디스크 문제인지
(회사내 동일 SSD 죄다 긁어모아서 꾸역꾸역 숫자를 맞춰서..)
노력에 대한 성과가 나와야 하는데 그러지 못해서 너무 답답해서 더 IO속도에 목매고 있습니다.
제가 글에는 DB서버간 싱크얘긴 하지 않았는데 DB테이블이 거의 300GB에 달하고 서비스개시후에는 1TB가 쉽게 넘어갈 테이블들을 실시간으로 싱크해야해서 IO속도에 좀더 목매고 있다고 봐주시면 될것 같습니다.
말씀해주신것이 뭔지 처음듣는얘기지만 알아보고 공부해보도록 하겠습니다 감사합니다
그리고 10으로 SSD를 사용할거라면 HBA로 소프트레이드를 사용하는걸 권장합니다.
캐쉬 메모리 있는 레이드 카드보다 캐쉬메모리 없는 HBA가 SSD에서는 속도가 더 잘나오는 경우가 있습니다..
HBA라고 하지만 RAID 0 /1 /1+0 을 펌웨어단에서 셋팅하여 묶을 수 있습니다..
단 디스크 갯수를 총 20개까지 지원할 지는 미지수네요...
그리고 레이드 볼륨도 최대 2개 밖에 아마 안될 것입니다..
720까지는 없는데 V4 모델 지원하는 하드웨어들이 파워성능 조절하는 옵션이 있더라구요. C1부터 C6이 있는데 C3 이상부터는 비활성을 시켜줘야 하는 성능 이슈가 있긴 합니다. 전력 절감한답시고 CPU 캐쉬도 비활성 해버리고 PCI 익스프레스 대역폭 역시도 확 떨어졌던 경험이 있어서 겨우 찾았던게 C6 활성화 때문이였습니다. 저 상황은 익스프레스 대역폭에 걸린 문제 같아요.
참고고 720xD 모델로 디스크 및 SSD SAS 타입으로 소프트 레이드로 구성해도 위 속도보다는 잘나왔습니다.
그리고 리눅스에서는 io벤치마크에 fio 가 있습니다.
dd는 seq밖에 평가를 못하고 옵션없으면 큰 의미없습니다. (direct,sync)
fio는 random iops 등도 나와서 이걸로 상대평가는 가능할 겁니다.
r740 기준 sata3 6G Dell OEM 도시바 400G 6개 레이드 10 중 (디스크6개니까 반인 3개쓰는걸로 알아요. 기준 약 1.5G 나와야 정상 인데 dd 이외에는 4~5G가 나옵니다 ㅜㅜ)
r730 기준 sata3 6G 860pro 512G 20개 레이드 10 (디스크 20개중 10개니까 5G 나와야 정상인데 dd에서는 800MB <> 1500MB/s 사이에서 속도 나옵니다. phoronix 에서는 3~4G 정도 나옵니다.
그래서 미취겠습니다... ㅜㅜ
개인적으로 생각하기에는 DD 옵션의 문제 이거나 아니면 DD를 너무 믿으면 안될 듯합니다..
그럼 옵션문제일겁니다. bs 를 너무 작게 준건 아닐까요?
35페이지 참고하세요. C1E와 C-States 비활성 시키라고 나오네요. 예상데로라면 저 이슈일거 같습니다. 2680V4 듀얼 사용하는데 처음에 속도 너무 안나와서 V2 모델보다도 더 안나오냐 하며 혀를 찼는데 저부분 비활성 하고 익스프레스 대역폭 최대치로 끌고오는걸 확인했습니다.
730에는 해당 옵션은 안보이지만
QPI power management가 있길래 disable 했더니 조금 20% 정도 빨라진것 같습니다.
그래도 디스크 갯수에 비하면 턱없이 낮은 IO 이고..
NVME 쓰기 1600MB/s 짜리 스펙을 소프트레이드0 으로 묶었는데 1500MB/s 를 기록하는 말도 안되는 성능을 봐서는
절망적이네요 ㅜㅜ...
옵션을 만졌더니 idrac 가상콘솔이 갑자기 먹통이 되서 안뜨네요
내일 해보고 결과 말씀드리겠습니다
감사합니다!
차이가 있을수도 있습니다. 10이 생각보다 안나올수도 있습니다.
그리고 pci lane이 해당 슬롯에서 얼마로 붙어는지 RAID카드 PCI 대역폭 및 링크스피드 체크해보세요.
https://www.dell.com/support/kbdoc/ko-kr/000175770/redhat-%EA%B8%B0%EB%B0%98-linux-%EB%B0%B0%ED%8F%AC%ED%8C%90%EC%97%90%EC%84%9C-pci-e-%EC%B9%B4%EB%93%9C%EC%9D%98-pci-e-%EB%B2%84%EC%8A%A4-%EC%86%8D%EB%8F%84%EB%A5%BC-%ED%99%95%EC%9D%B8%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95
리눅스에서
# lspci
# lspci -nv
LinkCap : ?GT/s 대역폭, x? 몇배속
LinkSta : ?GT/s 대역폭, x? 몇배속
# dmidecode
그리고 bios에서 영혼까지 끌어서 튜닝하는 방법은 아래 사이트 참조하시면 됩니다.
R730 BIOS 성능튜닝 : 전원절전관련 전체적으로 Disable 처리(Performance Mode + C State 비활성화) -> 성능개선
https://enterprise-support.nvidia.com/s/article/bios-performance-tuning-example-for-dell-poweredge-r730
R730 vs R740 하드웨어 비교
https://i.dell.com/sites/csdocuments/Product_Docs/en/server-generation-comparison-matrix-r740.pdf
주신 내용 기준으로 개인적인 의견으로는 CPU 병목 or 레이드카드 병목 (백플레인보드 설계문제 or IOPS 처리용량 한계) 둘중 하나로 생각됩니다.
언레이드 / 레이드 10 (디스크 2 / 4 / 6 / 8 의 낮은 갯수부터 시작) 2가지 테스트하여서 CPU 점유율과 결과값 적어나가시면
어느시점부터 병목 걸리는지와 어디에서 병목 생기는지 확인 되실겁니다.
저희에게 의뢰온 케이스중에 SSD 12EA 묶어서 500MB/s 나온 케이스가 있었습니다만, 해당 케이스도 레이드카드 문제 였었습니다.
https://www.dell.com/support/kbdoc/en-ae/000060621/what-is-the-c-state
익스프레스 대역폭 최대성능 안나오는게 C-States 이슈가 맞을겁니다. 예전에 10G 속도가 안나와요 이런글 질문올린 사람 먹튀해서 지워버린 바람에 그 내용이 없어져버렸는데 저도 위와같은 성능 이슈가 있어서 델서버는 아니고 기가바이트서버 V4 CPU 듀얼이였습니다. 위에글처럼 딱 1.4G 1.5G 이상 넘지를 못하는겁니다. NVME는 3G가 속도가 나와줘야 하는데 딱 1.5G에서 안넘어가더라구요.슬롯바꿔보고 생쑈를 하다가 전원효율성이 CPU 캐쉬메모리를 비활성 해버린다는 델 사이트를 찾아봐서 그걸 하나씩 비활성 하기 시작했더니 원래속도가 나오기 시작하더라구요. C1E는 비활성 안했는데 그래도 약간 2프로 부족한 기분이 느끼긴 합니다. 아니 2680V4 듀얼인데 그래도 어느정도는 나와줘야 하지 않나? 이런 생각이 자꾸 들더라구요.
아직 sata 레이드 에서는 처음에 한 30~40% 빨라져서 오!! 했는데
몇번 더 하니까 다시 되돌아오네요 ㅜㅜ
디스크가 잘못됐든 뭔가 하드웨어적으로 잘못된것 같습니다.
디스크를 준비해서 다시 시도해보겠습니다.
그래도 뭔가 좀 상향평준화가 된 느낌이에요!
설정전에는 살짝 들쑥날쑥하면서 최저치가 심각했었는데 지금은 좀 평균값이 나오고 있습니다.
디스크문제라고 좀 생각해보고 있습니다.