NVME 간의 전송속도가 너무 낮게 나옵니다.

   조회 5067   추천 0    

 

안녕하세요,

제가 구성해 놓은 NVME들이 읽기/쓰기 속도가 3500MB/s 에서 7300MB/s 까지 다양하게 있습니다.


그런데 한가지 특이 한점이 그 NVME들간에 약 50기가 정도의 대용량 파일을 전송을 하면 

속도가 2500MB/s 밖에 안나옵니다.

 

이 증상이 Asus R6E 보드와 Asus WS x299 SAGE 에서도 동일 하게 발생하는것 보면 

보드 바이오스의 설정에서 해결 해야하는 것도 아닌듯 한데 도무지 감이 안잡히네요.

 

디스크 간의 전송속도가 이렇게 나오면 프리미어나 에팩 같은 프로그램에서 

읽기/쓰기가 2500MB/s 이상씩 나오는 스토리지들을 쓸 필요가 없는거 아닌가 하는 생각이 드는데,

 

그런 제품들이 존재하는건 분명 그 성능을 쓰기 때문 인것도 확실할텐데

제가 무엇을 모르고 있는 걸까요 ?

 

도움 부탁 드립니다.

참고가 되실까봐 사진도 첨부 합니다.




안녕하세요
짧은글 일수록 신중하게.
유정해 2020-08
그나마 캐쉬빨로 나오는 최고 속도인데요
     
refreshair 2020-08
말씀대로라면 프리미어나 에펙같은 프로그램들에서
2500MB/s 이상 나오는 드라이브들을 써도 이득이 없다고 봐도 되는 걸까요 ?
Noname1 2020-08
MLC가 아니면 그렇더라구요
chis 2020-08
다이어그램상으로 m.2포트 1은 cpu에 직결로 붙고 m.2포트2는 pch밑으로 붙네요..
pch에 여러가지가 연결되는데 그게 dmi대역폭을 다 공유하는구조이기에 bottleneck일수도있고
시퀀셜로 쓰기속도를 스펙대로 다 뽑아주는 nvme가 있을까 싶습니다..
램이 넉넉하다면 램디스크 만들어서 m.2 1번포트로 전송해보면 바틀넥인지 nvme의 한계인지 알수있을거라고 봐요.
배창언 2020-08
벤치마크툴에서는 4GB정도는 SSD자체 SLC캐쉬 범위 이내이니 높게 측정될수 있으니
테스트 파일크기를 더 늘리거나 더티테스트툴로 각 구간별 속도를 체크해보세요.

그리고 PCH에 연결된SSD는 PCH 대역을 공유하니 CPU에 직접연결된 SSD간 복사를 해보세요.

이때 작업관리자에서 활성시간이 높게 측정되고 있는지도 체크해보세요,
     
refreshair 2020-08
32GB로 해도 벤치값은 거의 같습니다.
테스트 파일도 200기가 짜리등도 모두 시도해 봤지만 속도제약은 생겼습니다.

그리고 CPU간 직접연결된 드라이브끼리 복사를 한 것이었습니다.
ilsa 2020-08
NVMe ssd 중에 cpu에서 나오는 pcie 레인으로 연결되지 않고 메인보드 칩셋(pch)에서 나오는 pcie 레인으로 연결된 것이 있다면 pch 병목을 의심해볼 수 있습니다. x299 칩셋의 전체 대역폭은 pcie 3.0 4 레인 분으로 제한되기 때문입니다. 블록 다이어그램을 보면 M.2 소켓 중 하나는 pch 쪽으로 연결이 되고 있습니다. intel 905p와 p3700은 cpu 쪽에서 나오는 pcie 레인으로 연결된 것 같은데, 얘네들 끼리로만 자료 전송을 시도할 때에도 2500MB/s 제약이 있나요?
     
refreshair 2020-08
네 말씀 하신대로 이미 일단 블록 다이어그램을 기반으로 905P와 p3700은 CPU 레인에 연결 했었습니다.
그런데도 905p끼리 할때도, 905p와 p3700간에 할때도 제약이 걸립니다.
          
ilsa 2020-08
cdm에서 순차 i/o 테스트를 q1t1로 두고 해보시기 바랍니다.
               
refreshair 2020-08
두번째 사진에 드라이브들 위치를 표시 했습니다.
혹시라도 다른 의견 없으실까요 ?
감사합니다.
                    
ilsa 2020-08
q1t1로 두고 테스트를 진행해보자는 이야기는 드라이브 위치에 관한 이야기가 아니라 벤치마크 측정 방법을 바꾸어보자는 이야기였습니다. 세팅에서 큐&스레드를 선택하면 테스트 방식을 바꾸어볼 수 있습니다. 지금은 q32/t1로 잡혀있는데, 여기서 q32는 큐 깊이(Queue depth)가 32를 의미합니다. 큐 깊이가 깊으면 처리량이 늘어나 벤치마크 결과에서 대역폭이 높게 잡히는데, 이게 실제 사용 상황 또는 특정 작업만의 성능과는 거리가 있을 수 있거든요. 실제 하는 작업이 단순할 수록, 벤치마크를 큐 깊이를 깊게 한 것보다는 낮게 한 쪽의 결과가 보다 더 현실에 가까울 수 있습니다.
                         
refreshair 2020-08
말씀하신대로 테스트 해보니 딱 전송속도와 비슷한 결과가 나왔습니다.
그럼 정말 궁금 했던것은 프리미어나 에펙같은 사용환경만을 기준으로 했을때에

고대역폭(2500MB/s가 넘어가는) 스토리지에 자금을 투자하는 것은 거의 의미없는
수준으로 되는 것인가요 ?

앞으로의 기술 발전으로 여타 다른 장치및 소프트웨어 레벨의 병목 부분들이 해결되면
당연히 다른 상황이 발생 하겠지만

현재의 기준으로는 어떻게 봐야 할지 무척 궁금 합니다.
감사 합니다.
                         
ilsa 2020-08
단일 디스크 차원에서는 그렇습니다. 왜냐하면 단일 디스크 차원에서 순차 i/o QD1이 2500MB/s를 넘기는 물건은 현재 없기 때문입니다.
레이드 볼륨을 기준으로 한다면, 이건 해봐야 압니다. 멤버 디스크를 지금보다 더 늘린다면 다른 결과가 나올 수 있기 때문입니다. 순차 QD1이 성능이 잘 안 나온다는 것은 어디까지나 큐 깊이가 깊을 때에 비해 잘 안 나온단 것이지 도달 가능한 성능 상한선이 존재한다는 건 아닙니다. (4K QD1은 레이드로는 뭘 해도 늘어나지 않지만 순차 QD1은 레이드 0 구성시 효율이 낮아서 그렇지 증가하긴 합니다.)

QD1 성능에 특화된 905p를 잔뜩 묶어다 볼륨을 만들면 어떤 결과물이 나올지 저도 궁금해지네요. 사실 이게 원체 비싼 물건이다 보니 두 개 장착한 경우도 만나보기 쉽지 않거든요. 저도 900p 480gb 달랑 하나만 들고 있을 뿐이고요. 만약 905p 네 개에 들어있는 자료가 없다면, 네 개를 레이드 0 볼륨으로 만든 뒤 테스트를 해보는 건 어떨까요? 용량이 달라도 일단 레이드 0 볼륨 구성은 가능하고, 905p는 기술적 특성상 용량이 다른 것끼리 묶어도 성능 손실이 있는 건 아니니까요.
                         
refreshair 2020-08
말씀하신대로 4개를 묶어서 해봤습니다.
VROC의 특성인지는 몰라도 벤치값은 2개때와 같았습니다.
혹시나 해서 3개로도 해봤는데 거의 오차범위로 나왔습니다.

프리미어나 에펙 같은 것에서는 비싼 드라이브가 요즘 기준으로는 필요 없다 봐야 하는군요 ㅜㅜ
그렇다면 순차QD32의 성능은 실제 사용에는 어떤 상황에 해당 되는 것일까요 ?
                    
ilsa 2020-08
905p는 현재까지 나온 ssd 중에서 QD1이 가장 좋은 물건인데, 멤버를 늘리는 걸로 해결이 안 된다면 현재 시스템에서는 개선이 어려워 보입니다.

QD32 같은 깊은 큐 작업은 서버에서 볼 수 있습니다. 서버용 ssd 중에는 QD1 성능은 과감히 포기하고 깊은 큐 성능에 초점을 둔 물건이 있습니다. 극단적인 예시로는 삼성 1725a가 있습니다. QD32에선 6GB/s를 넘기지만, QD1에서는 700MB/s 미만입니다.
클라이언트에서는 i/o 작업의 50%~70%가 QD1이며, QD4 이하가 90% 이상을 차지합니다. 이 때문에 클라이언트 단에서 쓰이는 ssd 중에서는 QD1에 초점을 둔 물건이 근래 나오기 시작했습니다. 인텔 905p가 대표적입니다.
                         
refreshair 2020-08
정말 좋은 답변 진심으로 감사 드립니다.
컴퓨터 관련 지식은 그저 겉핥기 수준 밖에 안되서
뭐하나에 부딪히면 매번 이렇게 어렵게 헤쳐나가야 되네요

정말 깊게 알고 계신 분들 너무 부럽습니다.
다시 한번 감사 드립니다.
유정해 2020-08
cpu 자체 속도 생각해 보시구요

본인께서 원하는 속도는 굳이 보실려면

nvme 갯수를 더 늘리시거나
보드를 일반데스크탑으로  바꿔 보세요
 ㅡㅡ 캐쉬 설정 차이가 있는거 같습니다
     
refreshair 2020-08
CPU는 10980XE 입니다. 48레인이 지원됩니다.
속도는 레인지원수를 말씀 하시는 것인가요 ?

NVME 갯수를 늘리라는 말씀은 RAID0으로 더 늘려보라는 말씀 이신가요 ?
일반 보드라는게 어떤 보드는 어떤 보드를 말씀 하시는지 궁금합니다.

그리고 캐쉬 설정 차이라 하시면 디스크마크의 그것을 말씀 하시는건지요
VROC 설정에서 캐쉬 설정 부분은 따로 없어서 말이죠.


QnA
제목Page 2644/5705
2014-05   5126917   정은준1
2015-12   1661870   백메가
2020-07   4975   이희주
2012-04   4975   정광진
2008-09   4975   이광조
2019-05   4975   SamP
2015-01   4975   장동건2014
2016-06   4975   한조
2016-05   4975   악땅
2014-05   4975   김동민
2008-08   4975   조세민
2020-07   4975   헥사코어
2007-02   4975   박현근
2006-08   4975   소현준
2018-12   4975   컴박
2016-07   4975   AKMU
2017-03   4975   SkyBase
2018-12   4976   yummy
2016-06   4976   행복하세
2015-10   4976   김호성
2006-08   4976   조용주
2007-12   4976   구명서