안녕하세요. 항상 많은 분들께 도움을 받고 있는 sisc08입니다.
최근 무분 수령글을 올리는게 밀리고 있는데요... 다른게 아니라 밀린 숙제(?)를 하다 맴돌고 있어서 그렇습니다 ㅠㅠ
이하의 글은 약간의 정보 나눔 및 푸념...과 조언을 구하는 내용이 되겠습니다.
이전에 아래와 같은 것을 무분받은 적이 있습니다.
https://www.2cpu.co.kr/ha/58988
인텔이 버린 고속 인터페이스, OmniPath라는 100gbps대응 네트워크 시스템이 되겠습니다.
인피니밴드와 유사하다는 이야기들이 있더군요.
저는 아래의 링크를 기반으로 설정을 진행하였습니다.
https://forum.level1techs.com/t/proxmox-with-intel-omni-path-fabric-how-to-cautionary-tale/198762
안타깝게도 윈도우용 드라이버는 존재하는 듯 하나 현재는 구할 수 없는 상황입니다.
그러면 다용도로 쓰기 위해 가상화 시스템을 구성하는 편이 바람직하다 생각하였습니다.
ip 할당이 가능하다면 Proxmox 내에서 가상 이더넷으로 연결이 가능할 가능성이 있기 때문입니다.
설치 방법은 다음과 같습니다.
1. Proxmox Shell에서 다음의 명령어 실행
- apt-get update
- apt-get install opa-fm opa-fastfabric opa-basic-tools opa-address-resolution
2. System -> Network에서 ibp로 시작하는 항목이 있는지 확인
3. OmniPath에서 사용할 IP 셋팅
- ibp 항목을 더블클릭하면 열립니다.
- 원하시는 IP를 사용하시되, 공유기에서 서비스하는 대역은 피해야 합니다.
- MTU는 적당히... 저도 다양하게 시도중에 있습니다. Advanced를 누르면 나타납니다.
- Autostart도 켜주세요.
4. 재부팅
- 상기 항목은 클러스터를 구성할 2대의 컴퓨터 모두에서 시행해 주세요.
5. 클러스터 생성
먼저, ibp가 켜진 것을 확인합니다.
그리고 Datacenter -> Cluster로 들어가서 Create Cluster를 클릭합니다.
원하는 이름을 입력 후 Create를 눌러 종료합니다.
TASK OK가 뜨면 성공입니다.
그리고 Join Information을 클릭해서
Copy Information을 클릭합니다.
두 번째 PC로 이동하고
Datacenter -> Cluster로 들어가서Join Cluster를 클릭합니다.
Information에 붙여넣고 클러스터 서버 PC의 Password를 입력 후 Cluster Network는 아까 설정한 OmniPath로 지정하고 Join 버튼을 누릅니다.
완료 후에 permission denied가 뜹니다만, 안심하시고 새로고침을 누릅니다.
다시 로그인 후에 아래와 같이 뜨면 완성입니다.
=================================================================================================================================
상기와 같이 설정하면 이제 사용할 준비는 다 되었습니다.
그럼 이제 테스트를 진행해 보아야겠죠. 레퍼런스에서는 뭔가 다른 방법으로 테스트를 진행하고 있습니다만...
IP를 할당했잖아요. iperf3를 설치합니다.
apt-get install iperf3
그리고 아래와 같이 테스트를 진행합니다.
iperf3 -c [ip]
===============================================================
root@test2:~# iperf3 -c 10.1.1.11
Connecting to host 10.1.1.11, port 5201
[ 5] local 10.1.1.12 port 54840 connected to 10.1.1.11 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 1.52 GBytes 13.1 Gbits/sec 0 1.39 MBytes
[ 5] 1.00-2.00 sec 1.50 GBytes 12.9 Gbits/sec 0 1.39 MBytes
[ 5] 2.00-3.00 sec 1.53 GBytes 13.1 Gbits/sec 0 1.61 MBytes
[ 5] 3.00-4.00 sec 1.64 GBytes 14.1 Gbits/sec 0 1.61 MBytes
[ 5] 4.00-5.00 sec 1.70 GBytes 14.6 Gbits/sec 0 3.05 MBytes
[ 5] 5.00-6.00 sec 1.90 GBytes 16.4 Gbits/sec 0 3.05 MBytes
[ 5] 6.00-7.00 sec 1.81 GBytes 15.6 Gbits/sec 0 3.05 MBytes
[ 5] 7.00-8.00 sec 1.62 GBytes 13.9 Gbits/sec 0 3.05 MBytes
[ 5] 8.00-9.00 sec 1.80 GBytes 15.4 Gbits/sec 0 3.05 MBytes
[ 5] 9.00-10.00 sec 1.54 GBytes 13.3 Gbits/sec 0 3.05 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 16.6 GBytes 14.2 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 16.6 GBytes 14.2 Gbits/sec receiver
iperf Done.
===============================================================
음------- 속도가 잘 안 나옵니다.
구글링을 합니다.
https://www.reddit.com/r/networking/comments/gd1hce/what_does_it_take_to_fill_up_100gbase/
매우 많은 전문가 분들의 절규를 헤치며 찾아낸 -P옵션...
iperf -c [ip] -P 16
===============================================================
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec receiver
[ 7] 0.00-10.00 sec 1.22 GBytes 1.05 Gbits/sec 0 sender
[ 7] 0.00-10.00 sec 1.22 GBytes 1.05 Gbits/sec receiver
[ 9] 0.00-10.00 sec 644 MBytes 540 Mbits/sec 0 sender
[ 9] 0.00-10.00 sec 642 MBytes 538 Mbits/sec receiver
[ 11] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec 0 sender
[ 11] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec receiver
[ 13] 0.00-10.00 sec 893 MBytes 749 Mbits/sec 0 sender
[ 13] 0.00-10.00 sec 891 MBytes 747 Mbits/sec receiver
[ 15] 0.00-10.00 sec 517 MBytes 434 Mbits/sec 0 sender
[ 15] 0.00-10.00 sec 515 MBytes 432 Mbits/sec receiver
[ 17] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 17] 0.00-10.00 sec 1.26 GBytes 1.08 Gbits/sec receiver
[ 19] 0.00-10.00 sec 1.04 GBytes 897 Mbits/sec 0 sender
[ 19] 0.00-10.00 sec 1.04 GBytes 895 Mbits/sec receiver
[ 21] 0.00-10.00 sec 915 MBytes 768 Mbits/sec 0 sender
[ 21] 0.00-10.00 sec 912 MBytes 765 Mbits/sec receiver
[ 23] 0.00-10.00 sec 530 MBytes 445 Mbits/sec 0 sender
[ 23] 0.00-10.00 sec 527 MBytes 442 Mbits/sec receiver
[ 25] 0.00-10.00 sec 629 MBytes 528 Mbits/sec 0 sender
[ 25] 0.00-10.00 sec 628 MBytes 527 Mbits/sec receiver
[ 27] 0.00-10.00 sec 570 MBytes 478 Mbits/sec 0 sender
[ 27] 0.00-10.00 sec 567 MBytes 476 Mbits/sec receiver
[ 29] 0.00-10.00 sec 950 MBytes 797 Mbits/sec 0 sender
[ 29] 0.00-10.00 sec 948 MBytes 795 Mbits/sec receiver
[ 31] 0.00-10.00 sec 702 MBytes 589 Mbits/sec 0 sender
[ 31] 0.00-10.00 sec 699 MBytes 586 Mbits/sec receiver
[ 33] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec 0 sender
[ 33] 0.00-10.00 sec 2.11 GBytes 1.81 Gbits/sec receiver
[ 35] 0.00-10.00 sec 871 MBytes 730 Mbits/sec 0 sender
[ 35] 0.00-10.00 sec 867 MBytes 728 Mbits/sec receiver
[SUM] 0.00-10.00 sec 16.9 GBytes 14.5 Gbits/sec 0 sender
[SUM] 0.00-10.00 sec 16.9 GBytes 14.5 Gbits/sec receiver
iperf Done.
===============================================================
으음, 이것도 아닙니다.
아까 디폴트 옵션으로 넘어간 클러스터 마이그레이션 옵션도 만져봅니다.
insecure로 하려면
nano /etc/pve/datacenter.cfg
를 터미널에 쳐서 수동으로 변경해 주어야 합니다.
===============================================================
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 1.28 GBytes 1.10 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 7] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 7] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 9] 0.00-10.00 sec 701 MBytes 588 Mbits/sec 0 sender
[ 9] 0.00-10.00 sec 697 MBytes 585 Mbits/sec receiver
[ 11] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 11] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 13] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 13] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 15] 0.00-10.00 sec 575 MBytes 483 Mbits/sec 0 sender
[ 15] 0.00-10.00 sec 572 MBytes 480 Mbits/sec receiver
[ 17] 0.00-10.00 sec 634 MBytes 532 Mbits/sec 0 sender
[ 17] 0.00-10.00 sec 630 MBytes 528 Mbits/sec receiver
[ 19] 0.00-10.00 sec 732 MBytes 614 Mbits/sec 0 sender
[ 19] 0.00-10.00 sec 729 MBytes 611 Mbits/sec receiver
[ 21] 0.00-10.00 sec 676 MBytes 567 Mbits/sec 0 sender
[ 21] 0.00-10.00 sec 672 MBytes 564 Mbits/sec receiver
[ 23] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 23] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 25] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 25] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 27] 0.00-10.00 sec 609 MBytes 511 Mbits/sec 0 sender
[ 27] 0.00-10.00 sec 605 MBytes 508 Mbits/sec receiver
[ 29] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 29] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 31] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec 0 sender
[ 31] 0.00-10.00 sec 1.27 GBytes 1.09 Gbits/sec receiver
[ 33] 0.00-10.00 sec 538 MBytes 451 Mbits/sec 0 sender
[ 33] 0.00-10.00 sec 535 MBytes 449 Mbits/sec receiver
[ 35] 0.00-10.00 sec 769 MBytes 645 Mbits/sec 0 sender
[ 35] 0.00-10.00 sec 766 MBytes 642 Mbits/sec receiver
[SUM] 0.00-10.00 sec 15.3 GBytes 13.1 Gbits/sec 0 sender
[SUM] 0.00-10.00 sec 15.2 GBytes 13.1 Gbits/sec receiver
iperf Done.
===============================================================
음, 역시 아닙니다.
...어쩌죠 ㅠㅠ
역시 안 되는 하드웨어가 거의 없는 커널이네요
조언을...부탁드립니다 ㅠㅠ
데비안/우분투용으로 나오는 정식 드라이버는 없습니다. SLES/RHEL 기반 커널만 드라이버가 지원됩니다.
그리고... RDMA 전용 어댑터이고 - IP는 IPoIB 모드로만 사용이 가능한 하드웨어이기 때문에 모든 네트워크 스택은 CPU가 처리합니다. 그래서 IP를 올려 쓰시면 느립니다.