리눅스상에서 하드(NVME)간 전송속도에 관한 문의드립니다.

   조회 1896   추천 0    

Epyc 7313p 에 슈퍼마이크로 보드 H12.. 를 이용한 서버를 중고로 구매해서

가정용 서버를 구축 중입니다.

문의 드릴 것은 디스크 내부에서(네트워크 전송이 아닙니다.) 파일 전송을 하는데 속도가 느립니다.


U2 는 Micron 7300max 제품이고 PCIE 슬롯에 X4/X4/X4/X4 형태로 연결했습니다.

NVME 는 Crucial T500 으로 2Tb 4개를 X16 슬롯에 x4 로 bifurcation 해서 장착했구요.

자료 정리를 위해 NVME 한개를 PCIe 슬롯에 연결한 후 리눅스에서 마운트해서 U2 쪽의 폴더로 복사를 하는데,

속도가 약 400MB/s 정도 나옵니다. 

이상하게 생각되어 U2 내부에서 폴더만 달리해서 복사를 해봐도 마찬가지로 400mb 근처의 속도가 나오고

NVME 내부에서 복사를 해봐도, U2 -> NVME 로 복사를 해도 동일하게 400mb 근처의 속도가 나옵니다.


하드웨어적인 성능으로는 2기가 이상의 속도가 나와야 하는데, 400mb 근처만 나오는 이유가 무엇일까요?





짧은글 일수록 신중하게.
박문형 2024-01
혹시 윈도우즈 설치해서 비교해보셨는지요??
     
태영파파 2024-01
네. 윈도우 설치해보니 약 2기가/s 로 속도가 잘 나오네요.
작은 파일들은 속도가 떨어지긴 하지만 전반적으로 NVME 속도가 나옵니다.
황진우 2024-01
파일 용량 작은게 많으면 본 속도가 안나는 경우가 많습니다.
     
태영파파 2024-01
용량이 큰 파일들도 500메가바이트 이상 나오지가 않아요.
박문형 2024-01
     
태영파파 2024-01
좋은 정보 감사합니다.
한번 테스트를 해보겠습니다.
죠슈아 2024-01
400mb/s 인가요?
400MB/s 인가요?
디스크 복사 속도를 초당 bit로 표현하신다는 것은 ...  Byte를 bit로 변경해서 말씀 하시는 것 인가요?
     
태영파파 2024-01
400메가 바이트인 것 같습니다. (이쪽 지식이 부족해서 부끄럽네요)
     
dateno1 2024-01
어느쪽이라도 정상 아닙니다
태영파파 2024-01
관심가지고 댓글 주셔서 감사합니다.
 서버 피씨 설정을 일단 놔두고, Client PC 에서 파일 작업을 해보는데, 신기하게 속도가 잘나오네요.
10Gbe 로 연결되었는데, 약 800-900MB/s 의 전송속도가 나옵니다.
 
이렇게 되니 더 궁금해지네요. 네트워크 전송에서는 아답타 한도까지 속도가 나오는데, 리눅스상 하드 내부의 파일복사가 속도가 너무 안나오니까요.
     
박문형 2024-01
리눅스라는 OS는 종류를 따지면 수천가지가 있는데

모든 리눅스를 다 테스트 한다는 것은 아닐테이고

시스템에 따라 호환이 되는 리눅스와 거기에 따른 버젼이 있습니다..

서버쪽에서는 기술지원이 되어야 하기에 상용리눅스 지원이 우선입니다..

질문에는 기술하지 않고 있기에 어떤 리눅스를 사용했는지 알 수 없고 그것이 사용하는 시스템과 재대로 맞는지도 알 수 없습니다..

그리고 지금 테스트 한 리눅스가 NVME 쪽을 재대로 지원하는지 혹시 버그는 없는지도 모릅니다..

저도 리눅스는 잘 모릅니다..

제가 윈도우즈로 비교해 보라고 한 것은 그나마 호환성과 문제점을 제조회사에서 보증해주는 개인이 많이 사용하는 OS가 윈도우즈이기에

그것으로 우선 제 성능이 나오는지 아닌지 무터 확인하고 그 다음에 리눅스와 비교해보라는 것입니다..

리눅스도 한 시스템에 옵티마이징하려면 많이 다루어본 사람도 시간 들여서 개발 수준으로 옵티마이징해야 하는 것으로 알고 있습니다..


https://www.supermicro.com/en/support/faqs/os

슈퍼마이크로에서 재공하는 OS호환표 입니다..

아마 서버제조사 중에서는 재일 방대하게 테스트하고 호환성을 검증해놓은 표일 것입니다..

이거 할려면 엔지니어와 개발자 몇명 붙어서 꾸준하게 해보고 문제가 나오면 잡고 그래야 하는 것입니다..
박문형 2024-01
b (bit    : 비트 )
B (Byte : 바이트)

이 둘은 꼭 구분해 주어야 하고 글을 읽을때도 이게 맞는지 저게 맞는지 잘 판단해야 합니다..

그렇지 않으면 8배의 차이가 나버리게 됩니다..

SATA /SAS 3G /6G /12G 일때는 비트이지만 밴치마크 프로그램에서는 바이트/초 로 표시되는 경우가 많습니다..
죠슈아 2024-01
https://media-www.micron.com/-/media/client/global/documents/products/product-flyer/7300_nvme_ssd_product_brief.pdf

Micron 7300max U2  데이터 시트를 보면 900GB 크기를 기준으로  Seq-Read 2400MB , Seq-Write 850MB/s 이므로
하나의 디바이스에서 읽고  쓴다면  PCIE BUS가 On-the-Fly 동작으로 읽기와 쓰기가 동시에 된다고 해도 오버헤드 때문에 실제 데이터 전송 속도는 더 낮아 집니다.
그래서 최대로 동작한다는 가정에서 Seq-Read 후 Seq-Write 하여도 850MB/s 를 넘지 못합니다.
그런데 .. 파일 복사 할때는 파일의 크기가 4K에서 부터 몇 GB 크기로 다양하므로 Seq-Read 후 Seq-Write 속도에 이르지 못합니다.
그러므로 스크린 스냅샷에 나오는 461.15MB 복사속도는 매우 빠른 속도로 볼 수 있습니다.
     
dateno1 2024-01
본문 내용대로면 M.2 -> U.2입니다

다른 디스크간의 쓰기이므로 저거보단 빨라야할껍니다
          
죠슈아 2024-01
질문자 본문 내용에는 아래 3가지 모두 동일하게 나온다고 하고 있습니다.
"M.2 -> U.2" 는 3가지중 하나를 말하는 겁니다.

1. U2 내부에서 폴더만 달리해서 복사를 해봐도
2. NVME 내부에서 복사를 해봐도,
3. U2 -> NVME 로 복사를 해도

동일하게  400mb 근처의 속도가 나옵니다.  라고 3가지 경우 모두 동일하다고도 하고 있습니다.
이것은 님의 설명과도 부합하지 않고 있죠...

파일 크기가 4K 수준 부터 수 GB으로 다양할텐데  Seq-Read / Seq-Write 속도를 스펙이라고 주장 하는 것은  .. ㅎㅎ
그리고 NVME , U.2 DDD  모델 번호만 언급하고 있으며 크기를 말하고 있지 않기 때문에 부실한 질문에 정확한 답을 하는 것은 불가능하죠.
U.2 to NVME 복사 속도를 2GB/s 가 되어야 스펙이라고 하는 근거가 무엇인지  궁금하네요.
               
dateno1 2024-01
문젠 1번뺴고 400메가 나오면 정상인넘 없습니다

요즘 NVMe 내부에서 복사해도 800~1000메가는 뽑을 수 있고, 3번경우 1500~2000정돈 나와야 합니다

M.2경우 용량 표기되어져있고, 7300 Max 최저용량 모델이라도 3개 다 저러는건 절대 정상 아닙니다

거기다 OS 바꾸니 2기가라고 하는 시점에서 더 문제가 있다고 봅니다 (설마 OS별로 파일 개수 다른거 복사하고 저러진 않을테니까요)
                    
죠슈아 2024-01
복사하는 디렉토리에 있는 파일들의 크기가 1KB ~ 4KB tnwnsdmfh 아주 작은 파일들이 많으면 
SSD 스펙에 나오는 Seq-read/Seq-Write 속도를 기대할 수 없다는 뜻 입니다.

본문 내용이 "M.2 -> U.2" 이라면서요 ?
질문을 대충 읽고 답하신것에 계속해서 우기기 주장을하시는 듯 합니다.
                         
dateno1 2024-01
본문에 사용한 모델명, 시험해본 방식 다 나와있습니다

그리고 위쪽 덧글에는 OS 애기 있습니다

물른 파일 개수가 많을수록 디스크 느려지는건 맞는데, 진짜 개수 많으면 M.2같은걸로 400메가 기대 못합니다 (저거보다 더 안 나옵니다)

거기다 본문의 스샷 보면 460메가나 나오는데도 61%로 예상 시간이 3분대인걸 보면 디스크 케쉬용 램으로 인한 뻥튀기를 피하기 위해 100기가 넘게 복사시키고, 지금 40기가 넘게 복사된 상태입니다

이정도면 디스크 RAM케쉬 구간은 진작에 넘었기땜에 T500같은 모델 저거보다도 더 느립니다 (해당 모델 4k정도 사이즈조차 400메가 나올까말까하고, 더 작은 사이즈면 횔씬 느립니다)


QnA
제목Page 2841/5715
2015-12   1731329   백메가
2014-05   5198640   정은준1
2019-08   2430   머리감자
2022-04   2260   L2스위치
2016-04   8165   장동건2014
2016-04   4169   하헤맨굿
2013-10   6184   s김종화z
2015-02   3950   전설속의미…
2013-10   25502   남은종
2017-03   3871   이선호
2024-01   2846   박문형
2020-11   2464   구차니
2011-03   6724   이병한
2015-02   5629   장동건2014
2013-10   5659   배고프고가…
2024-01   1897   태영파파
2013-10   4889   새로운차원
2013-10   8535   배고프고가…
2015-02   5364   아름다운노을
2019-08   3236   나너우리
2011-03   7499   이해하면오…
2018-07   3176   늘파란