Qle7340 (QDR) 40Gbps HCA를 테스트 하고있습니다.
두개를 Peer to Peer로 물리고 ipoib를 올렸습니다.
iperf를 해보니 대충 19Gbps정도 나오는데요
이게 맞는건가요?
절반밖에 안나오다보니 어리둥절 하고있습니다.
TCP스택때문에 느린건지...
아니면 대역폭을 쪼개서 쓰는건지...
혹시 인피니밴드의 접속 모드(srp, ipoib등등)에 관한 설명이 상세하게 나온 document는 없을까요?
풀로 사용하실려면 Windows SMB3 이나 RDMA 를 사용하셔야 합니다. ~
사용하지 않으시는게 좋습니다.
일단 드라이버 자체가 Linux 내장 드라이버외에는 어떤 플랫폼도 지원하지 않습니다.
#최재훈 선택권이 없는 상황인지라..^^
답변 감사드립니다!
QDR HCA까지는 8/10 encording을 지원하기에 실 유효속도는 32Gbps입니다.
TCP/IP stack의 문제로 overhead가 존재하지만 정확히는 DM(Datagram Mode)의 한계입니다.
더군다나 QDR HCA의 경우 IPoIB는 10Gb까지만 지원되기에 IPoIB기준 실 유효속도는 8Gb입니다.
Mellanox ConnectX-3 이상 제품중 상위 모델이 40Gb IPoIB를 지원하면 테스트 목적이 아닌 실제 환경이라면
FDR 제품을 추천합니다. FDR의 경우 IPoIB까지 모두 56Gbps를 지원하면 64/66 encording 방식이기에 control 때문에 손실되는 대역폭도 거의 없습니다.
최재훈님께서 10G라고 하셨는데 실제 스토리지나 파일전송시에는 그정도가 한계인지요?
ps.64b/66b 코딩이라.. 엄청나네요. 실제 부호 테이블만 a4 몇장 나올것 같습니다^^
ps2. 혹시 인피니밴드에대한 기초적인 자료가 있으면 추천 부탁드립니다.
장비 메뉴얼은 있어서 명령어로 제어하는건 하겠는데 너무 기본적인 지식이 없네요.
MPI로 코딩할일은 없으니 rmda SRP나 ipoip / 튜닝정도 일것 같은데 기본적인 인피니밴드의 이해가 필요할 것 같습니다.
각 제조사나 http://www.openfabrics.org 에서 자료를 다운 받아 보거나
미국 유수 대학의 Infiniband 논문을 보시길 추천드립니다.