안철현 2023-07

네트워크쪽은 이상없는 것 같구요.
한쪽이 중간에 물결치듯이 들쑥날쑥하는건,
스토리지 버퍼가 네트워크 전송속도를 따라가지 못해서 발생하는 현상입니다.

파일 전송속도 테스트 이전에
네트워크단 속도를 iperf3 등으로 점검하시면
좀더 문제를 단순화할 수 있습니다.

화정큐삼 2023-07

크리스털 디스크마크 등으로 G: 네트워크 드라이브를 선택하고 전송속도 평균값을 체크하는 방법도 있습니다.

소리사랑 2023-07

일단 테스트해서 올렸습니다.
답변 감사드립니다.

술이 2023-07

1G는 캐쉬에서 끝나기 때문에 의미 없어요 32G 정도 돌려보세요

소리사랑 2023-07

네 테스트 해보겠습니다. 감사합니다.

안철현 2023-07

너무 10G라는 속도에 집착하시지 마시고,
평균 5~6G 정도 나오고, 10기가 파일 전송정도까지는 10G 풀로나오는 상황이라면
만족하셔도 될 듯합니다.

항상 그렇듯이 70~80 목표까지는 쉬운데,
나머지 10~20% 고지, 특히 최종 5~10%를 점령하려면 많은 비용과 시간이 들기 마련입니다.

소리사랑 2023-07

들쑥날쑥 속도가 어디서 문제가 되는지를 알고싶어서 질문드렸습니다.
답변 감사드립니다.

엠브리오 2023-07

대부분 네트워크 전송할때 디스크에서 파일을 읽거나 쓰는데 병목현상이 생깁니다.

정확한 테스트를 하려면 양쪽 컴퓨터 둘다 SSD나 HDD가 아닌 램드라이브에서 파일을
전송하도록 테스트해보세요.

소리사랑 2023-07

감사합니다. 테스트 해보겠습니다.

VSPress 2023-07

스토리지가 느려서 그런겁니다. nvme ssd 라도 작은 파일들을 읽기 시작하면 속도가 쭉쭉 내려가요.
파이프의 수압이 낮으면 수도꼭지가 아무리 굵어도 물이 콸콸 다 나오기 힘든것처럼요.
웬만한 스토리지로는 10G 속도 풀스피드를 감당을 못합니다.

소리사랑 2023-07

pm9a1 1T  32기가 단일파일 업다운입니다.
답변 감사합니다.

박문형 2023-07

속도가 들쭉날쭉한 것은 이더넷 패킷 통신의 한계입니다..

원래 그렇다라고 보시면 됩니다..

소리사랑 2023-07

업로드시만 들쭉날쭉 합니다.
한쪽에 뭔가 문제가 있지 않을까해서 질문드렸습니다.
조금전 100기가 양쪽으로 테스트 해봤는데 한쪽으로는 일정하게 1G가 나옵니다.
한쪽은 들쭉날쭉 하고요. 조금 더 파보겠습니다.
답변 감사합니다.

김강호 2023-07

링크 속도 10G는 10Gbps이고,
파일 전송 속도 0.6~1GBbps이니 5~8Gbps 정도이므로
전송 자체에는 큰 문제가 없는 것 같습니다.

소리사랑 2023-07

한쪽은 일정하게 가는데 반대쪽으로 가는게 들쭉날쭉이라.
조금더 파 보겠습니다.
답변 감사합니다.

박문형 2023-07

만일 10G 랜카드가 더 있다면 두 컴퓨터가 같은 조건 (10G 랜카드) 으로 셋팅해서 테스트 해보시고

양쪽 컴퓨터의 랜이 PCIe Gen2 혹은 3 8배속으로 동작하는지도 확인하세요..

요지는 양쪽 랜카드를 똑같은 환경으로 셋팅해보라는 것입니다..

무슨 보드인지는 모르겠지만 일반 PC보드에서 PCIe 8x 슬롯이 단독으로 나오는 경우는 드물며 보통 PCIe 16배속에 꼽아 사용하던가

슬롯모양만 16배속이고 실제 신호는 4배속으로 동작할 확률이 있기 때문입니다..

소리사랑 2023-07

x540 PCIe 2.1x8배속으로 검색되는데 PCIe 3.0x4 배속 슬롯에있습니다.
문제가 될까요?

박문형 2023-07

https://www.2cpu.co.kr/lec/4499?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and

내용 확인해보시고

실제 동작이 어떻게 되는지가 중요합니다..

저렇게 되면 X540 카드는 PCIe 2.1 4배속으로 동작합니다..

물론 10G 카드중에 PCIe 4배속 짜리 카드도 있지만 PCIe 8배속 카드는 8배속으로 동작해야 한다는게 저의 생각입니다..

그리고 전반적으로 UTP 10G 랜들은 열이 마니 납니다.. 펜없이 그냥 방치하면 나중에 칩셋이 열에 눌어서 고장나는 경우도 있습니다..

방열펜을 다는 것이 필수입니다..

소리사랑 2023-07

오늘 질문 하나에 공부가 많이됩니다.
3.0x4 배속이 문제였네요.감사합니다.
윗쪽에 120미리 팬 돌려놓았습니다.
답변주신 모든분 감사합니다.

술이 2023-07

탐색기가 끌고올때는 일단 메모리부터 올리고 저장소에 저장합니다. 그럼 메모리부터 들어가니까 속도가 훨씬 빠르겠죠?

그런데 업로드는 대상컴퓨터가 그냥 메모리 캐쉬 안타고 다이렉트로 스토리지에 액세스 하게되는데 이건 순수 스토리지 속도에 달려 있습니다.

저런거 속도 제대로 나오게 할려면 메모리 캐쉬 써보면 답나옵니다. 참고로 메모리 대 메모리로 보내는건 RDMA가 작동해서 네트워크 풀속도 땡겨가게 됩니다.

다운로드 할때 작업관리자 열어보세요 메모리 사용율 올라가나 안올라가나...

소리사랑 2023-07

공유설정을 반대로해보면 답이 나오겠네요.
감사합니다.

송주환 2023-07

RDMA는 그런 식으로 동작하지 않습니다. 메모리에서 메모리로 전송해서 RDMA인 것이 아니라, HCA가 직접 특정 메모리 영역에 CPU 대신 읽기와 쓰기 작업을 수행해 주기 때문에 Remote DMA인 것입니다.
연결 과정에서 QP(Queue Pair) 할당과 MR(Memory Region) 할당이 필요하고, 모든 RDMA 애플리케이션은 IB Verb API를 사용합니다.
RDMA 지원 어댑터 + RDMA 지원 인터커넥트 + IB API를 사용한 애플리케이션이 모두 모여야 RDMA 전송이 됩니다.

술이 2023-07

윈도우 SMB가 RDMA를 지원해서요

송주환 2023-07

하지만 대부분의 사용자들은 SMB3에서 추가된 SMB Direct의 이점을 누리기 어려울 것입니다.
제일 먼저, 대부분의 일반 사용자는 IB 지원 HCA를 사용하지 않습니다. 예시로, 질문자가 사용하는 X550의 경우에는 Ethernet 환경에서 사용할 수 있는 iWARP를 지원하지 않는 어댑터입니다.
다음으로, Windows 10에서는 SMB Direct를 사용할 수 없습니다. 제가 마지막으로 알아봤을 때 Windows 11 후기 빌드에서 RDMA API 지원이 추가될 예정이라고 했던 것 같은데, 실제로 추가되었는지는 잘 모르겠네요. 그래서 RDMA 컨설팅 할 때도 윈도우 환경에서는 무조건 윈도우 서버를 사용해야 한다고 가이드를 했습니다.
마지막으로, OS와 어댑터, 애플리케이션이 모두 RDMA를 지원하더라도, 패브릭이 Lossless Fabric이 아니면 RDMA의 이점을 제대로 누리기 어렵습니다. congestion 상황이 생겼을 때 packet drop이 발생하기 때문입니다.

RoCE 지원 어댑터/스위치 + 양 쪽에서 Windows Server를 사용하는 일반 사용자가 몇이나 될지 모르겠네요. 물론 스위치 구성도 필요하구요

서울I김동수 2023-07

pm9a1 512gb짜리 캐싱 구간이 100gb 정도입니다. 1T짜리는 120gb 정도입니다.
그거 넘어가면 512gb짜리는 700MB/s, 1T짜리는 1000MB/s 정도로 평균 쓰기 속도 하락합니다.
이부분도 체크해보시면 좋을 것 같습니다.