설영수 2013-08

말씀하신대로 TCP/IP stack문제로 그정도가 한계입니다.

풀로 사용하실려면 Windows SMB3 이나 RDMA 를 사용하셔야 합니다. ~

최재훈 2013-08

Qle7340 (QDR) 40Gbps HCA는 제조사인 Qlogic이 Intel로 흡수가 된 상황이라
사용하지 않으시는게 좋습니다.

일단 드라이버 자체가 Linux 내장 드라이버외에는 어떤 플랫폼도 지원하지 않습니다.

김지환 2013-08

#설영수  최재훈님 말씀대로 큐로직/인텔은 리눅스 드라이버밖에 없는 안타까운 스토리가 있습니다.. 흑흑

#최재훈 선택권이 없는 상황인지라..^^

답변 감사드립니다!

최재훈 2013-08

그리고 IPoIB의 경우 CM(Connected Mode)를 지원하는 경우가 아니면 성능이 좋지 않습니다.

QDR HCA까지는 8/10 encording을 지원하기에 실 유효속도는 32Gbps입니다.

TCP/IP stack의 문제로 overhead가 존재하지만 정확히는 DM(Datagram Mode)의 한계입니다.

더군다나 QDR HCA의 경우 IPoIB는 10Gb까지만 지원되기에 IPoIB기준 실 유효속도는 8Gb입니다.

Mellanox ConnectX-3 이상 제품중 상위 모델이 40Gb IPoIB를 지원하면 테스트 목적이 아닌 실제 환경이라면
FDR 제품을 추천합니다. FDR의 경우 IPoIB까지 모두 56Gbps를 지원하면 64/66 encording 방식이기에 control 때문에 손실되는 대역폭도 거의 없습니다.

김지환 2013-08

사실 "iba_showport"를 쳤을때 2.5G-10G라고 대역폭이 나와있긴 한데, iperf를 해보니 20Gbps정도 떴습니다.

최재훈님께서 10G라고 하셨는데 실제 스토리지나 파일전송시에는 그정도가 한계인지요?

ps.64b/66b 코딩이라.. 엄청나네요. 실제 부호 테이블만 a4 몇장 나올것 같습니다^^
ps2. 혹시 인피니밴드에대한 기초적인 자료가 있으면 추천 부탁드립니다.
장비 메뉴얼은 있어서 명령어로 제어하는건 하겠는데 너무 기본적인 지식이 없네요.
MPI로 코딩할일은 없으니 rmda SRP나 ipoip / 튜닝정도 일것 같은데 기본적인 인피니밴드의 이해가 필요할 것 같습니다.

최재훈 2013-08

특별하게 가진 자료는 없습니다.
각 제조사나 http://www.openfabrics.org 에서 자료를 다운 받아 보거나
미국 유수 대학의 Infiniband 논문을 보시길 추천드립니다.