Epyc 7313p 에 슈퍼마이크로 보드 H12.. 를 이용한 서버를 중고로 구매해서
가정용 서버를 구축 중입니다.
문의 드릴 것은 디스크 내부에서(네트워크 전송이 아닙니다.) 파일 전송을 하는데 속도가 느립니다.
U2 는 Micron 7300max 제품이고 PCIE 슬롯에 X4/X4/X4/X4 형태로 연결했습니다.
NVME 는 Crucial T500 으로 2Tb 4개를 X16 슬롯에 x4 로 bifurcation 해서 장착했구요.
자료 정리를 위해 NVME 한개를 PCIe 슬롯에 연결한 후 리눅스에서 마운트해서 U2 쪽의 폴더로 복사를 하는데,
속도가 약 400MB/s 정도 나옵니다.
이상하게 생각되어 U2 내부에서 폴더만 달리해서 복사를 해봐도 마찬가지로 400mb 근처의 속도가 나오고
NVME 내부에서 복사를 해봐도, U2 -> NVME 로 복사를 해도 동일하게 400mb 근처의 속도가 나옵니다.
하드웨어적인 성능으로는 2기가 이상의 속도가 나와야 하는데, 400mb 근처만 나오는 이유가 무엇일까요?
작은 파일들은 속도가 떨어지긴 하지만 전반적으로 NVME 속도가 나옵니다.
https://forum.level1techs.com/t/benchmark-nvme-on-linux/130341/6
nvme linux benchmark 를 구글링 하면 테스트 유틸리티나 테스트하는 법이 나옵니다..
한번 테스트를 해보겠습니다.
400MB/s 인가요?
디스크 복사 속도를 초당 bit로 표현하신다는 것은 ... Byte를 bit로 변경해서 말씀 하시는 것 인가요?
서버 피씨 설정을 일단 놔두고, Client PC 에서 파일 작업을 해보는데, 신기하게 속도가 잘나오네요.
10Gbe 로 연결되었는데, 약 800-900MB/s 의 전송속도가 나옵니다.
이렇게 되니 더 궁금해지네요. 네트워크 전송에서는 아답타 한도까지 속도가 나오는데, 리눅스상 하드 내부의 파일복사가 속도가 너무 안나오니까요.
모든 리눅스를 다 테스트 한다는 것은 아닐테이고
시스템에 따라 호환이 되는 리눅스와 거기에 따른 버젼이 있습니다..
서버쪽에서는 기술지원이 되어야 하기에 상용리눅스 지원이 우선입니다..
질문에는 기술하지 않고 있기에 어떤 리눅스를 사용했는지 알 수 없고 그것이 사용하는 시스템과 재대로 맞는지도 알 수 없습니다..
그리고 지금 테스트 한 리눅스가 NVME 쪽을 재대로 지원하는지 혹시 버그는 없는지도 모릅니다..
저도 리눅스는 잘 모릅니다..
제가 윈도우즈로 비교해 보라고 한 것은 그나마 호환성과 문제점을 제조회사에서 보증해주는 개인이 많이 사용하는 OS가 윈도우즈이기에
그것으로 우선 제 성능이 나오는지 아닌지 무터 확인하고 그 다음에 리눅스와 비교해보라는 것입니다..
리눅스도 한 시스템에 옵티마이징하려면 많이 다루어본 사람도 시간 들여서 개발 수준으로 옵티마이징해야 하는 것으로 알고 있습니다..
https://www.supermicro.com/en/support/faqs/os
슈퍼마이크로에서 재공하는 OS호환표 입니다..
아마 서버제조사 중에서는 재일 방대하게 테스트하고 호환성을 검증해놓은 표일 것입니다..
이거 할려면 엔지니어와 개발자 몇명 붙어서 꾸준하게 해보고 문제가 나오면 잡고 그래야 하는 것입니다..
B (Byte : 바이트)
이 둘은 꼭 구분해 주어야 하고 글을 읽을때도 이게 맞는지 저게 맞는지 잘 판단해야 합니다..
그렇지 않으면 8배의 차이가 나버리게 됩니다..
SATA /SAS 3G /6G /12G 일때는 비트이지만 밴치마크 프로그램에서는 바이트/초 로 표시되는 경우가 많습니다..
Micron 7300max U2 데이터 시트를 보면 900GB 크기를 기준으로 Seq-Read 2400MB , Seq-Write 850MB/s 이므로
하나의 디바이스에서 읽고 쓴다면 PCIE BUS가 On-the-Fly 동작으로 읽기와 쓰기가 동시에 된다고 해도 오버헤드 때문에 실제 데이터 전송 속도는 더 낮아 집니다.
그래서 최대로 동작한다는 가정에서 Seq-Read 후 Seq-Write 하여도 850MB/s 를 넘지 못합니다.
그런데 .. 파일 복사 할때는 파일의 크기가 4K에서 부터 몇 GB 크기로 다양하므로 Seq-Read 후 Seq-Write 속도에 이르지 못합니다.
그러므로 스크린 스냅샷에 나오는 461.15MB 복사속도는 매우 빠른 속도로 볼 수 있습니다.
다른 디스크간의 쓰기이므로 저거보단 빨라야할껍니다
"M.2 -> U.2" 는 3가지중 하나를 말하는 겁니다.
1. U2 내부에서 폴더만 달리해서 복사를 해봐도
2. NVME 내부에서 복사를 해봐도,
3. U2 -> NVME 로 복사를 해도
동일하게 400mb 근처의 속도가 나옵니다. 라고 3가지 경우 모두 동일하다고도 하고 있습니다.
이것은 님의 설명과도 부합하지 않고 있죠...
파일 크기가 4K 수준 부터 수 GB으로 다양할텐데 Seq-Read / Seq-Write 속도를 스펙이라고 주장 하는 것은 .. ㅎㅎ
그리고 NVME , U.2 DDD 모델 번호만 언급하고 있으며 크기를 말하고 있지 않기 때문에 부실한 질문에 정확한 답을 하는 것은 불가능하죠.
U.2 to NVME 복사 속도를 2GB/s 가 되어야 스펙이라고 하는 근거가 무엇인지 궁금하네요.
요즘 NVMe 내부에서 복사해도 800~1000메가는 뽑을 수 있고, 3번경우 1500~2000정돈 나와야 합니다
M.2경우 용량 표기되어져있고, 7300 Max 최저용량 모델이라도 3개 다 저러는건 절대 정상 아닙니다
거기다 OS 바꾸니 2기가라고 하는 시점에서 더 문제가 있다고 봅니다 (설마 OS별로 파일 개수 다른거 복사하고 저러진 않을테니까요)
SSD 스펙에 나오는 Seq-read/Seq-Write 속도를 기대할 수 없다는 뜻 입니다.
본문 내용이 "M.2 -> U.2" 이라면서요 ?
질문을 대충 읽고 답하신것에 계속해서 우기기 주장을하시는 듯 합니다.
그리고 위쪽 덧글에는 OS 애기 있습니다
물른 파일 개수가 많을수록 디스크 느려지는건 맞는데, 진짜 개수 많으면 M.2같은걸로 400메가 기대 못합니다 (저거보다 더 안 나옵니다)
거기다 본문의 스샷 보면 460메가나 나오는데도 61%로 예상 시간이 3분대인걸 보면 디스크 케쉬용 램으로 인한 뻥튀기를 피하기 위해 100기가 넘게 복사시키고, 지금 40기가 넘게 복사된 상태입니다
이정도면 디스크 RAM케쉬 구간은 진작에 넘었기땜에 T500같은 모델 저거보다도 더 느립니다 (해당 모델 4k정도 사이즈조차 400메가 나올까말까하고, 더 작은 사이즈면 횔씬 느립니다)