안녕하세요. 항상 많은 분들께 도움을 받고 있는 sisc08입니다.

최근 무분 수령글을 올리는게 밀리고 있는데요... 다른게 아니라 밀린 숙제(?)를 하다 맴돌고 있어서 그렇습니다 ㅠㅠ

이하의 글은 약간의 정보 나눔 및 푸념...과 조언을 구하는 내용이 되겠습니다.

이전에 아래와 같은 것을 무분받은 적이 있습니다.

https://www.2cpu.co.kr/ha/58988

인텔이 버린 고속 인터페이스, OmniPath라는 100gbps대응 네트워크 시스템이 되겠습니다.

인피니밴드와 유사하다는 이야기들이 있더군요.

저는 아래의 링크를 기반으로 설정을 진행하였습니다.

https://forum.level1techs.com/t/proxmox-with-intel-omni-path-fabric-how-to-cautionary-tale/198762

안타깝게도 윈도우용 드라이버는 존재하는 듯 하나 현재는 구할 수 없는 상황입니다.

그러면 다용도로 쓰기 위해 가상화 시스템을 구성하는 편이 바람직하다 생각하였습니다.

ip 할당이 가능하다면 Proxmox 내에서 가상 이더넷으로 연결이 가능할 가능성이 있기 때문입니다.

설치 방법은 다음과 같습니다.

1. Proxmox Shell에서 다음의 명령어 실행

- apt-get update

- apt-get install opa-fm opa-fastfabric opa-basic-tools opa-address-resolution

2. System -> Network에서 ibp로 시작하는 항목이 있는지 확인

3. OmniPath에서 사용할 IP 셋팅

- ibp 항목을 더블클릭하면 열립니다.

- 원하시는 IP를 사용하시되, 공유기에서 서비스하는 대역은 피해야 합니다.

- MTU는 적당히... 저도 다양하게 시도중에 있습니다. Advanced를 누르면 나타납니다.

- Autostart도 켜주세요.

4. 재부팅

- 상기 항목은 클러스터를 구성할 2대의 컴퓨터 모두에서 시행해 주세요.

5. 클러스터 생성

먼저, ibp가 켜진 것을 확인합니다.

그리고 Datacenter -> Cluster로 들어가서 Create Cluster를 클릭합니다.

원하는 이름을 입력 후 Create를 눌러 종료합니다.

TASK OK가 뜨면 성공입니다.

그리고 Join Information을 클릭해서

Copy Information을 클릭합니다.

두 번째 PC로 이동하고

Datacenter -> Cluster로 들어가서Join Cluster를 클릭합니다.

Information에 붙여넣고 클러스터 서버 PC의 Password를 입력 후 Cluster Network는 아까 설정한 OmniPath로 지정하고 Join 버튼을 누릅니다.

완료 후에 permission denied가 뜹니다만, 안심하시고 새로고침을 누릅니다.

다시 로그인 후에 아래와 같이 뜨면 완성입니다.

=================================================================================================================================

상기와 같이 설정하면 이제 사용할 준비는 다 되었습니다.

그럼 이제 테스트를 진행해 보아야겠죠. 레퍼런스에서는 뭔가 다른 방법으로 테스트를 진행하고 있습니다만...

IP를 할당했잖아요. iperf3를 설치합니다.

apt-get install iperf3

그리고 아래와 같이 테스트를 진행합니다.

iperf3 -c [ip]

===============================================================

root@test2:~# iperf3 -c 10.1.1.11

Connecting to host 10.1.1.11, port 5201

[  5] local 10.1.1.12 port 54840 connected to 10.1.1.11 port 5201

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd

[  5]   0.00-1.00   sec  1.52 GBytes  13.1 Gbits/sec    0   1.39 MBytes       

[  5]   1.00-2.00   sec  1.50 GBytes  12.9 Gbits/sec    0   1.39 MBytes       

[  5]   2.00-3.00   sec  1.53 GBytes  13.1 Gbits/sec    0   1.61 MBytes       

[  5]   3.00-4.00   sec  1.64 GBytes  14.1 Gbits/sec    0   1.61 MBytes       

[  5]   4.00-5.00   sec  1.70 GBytes  14.6 Gbits/sec    0   3.05 MBytes       

[  5]   5.00-6.00   sec  1.90 GBytes  16.4 Gbits/sec    0   3.05 MBytes       

[  5]   6.00-7.00   sec  1.81 GBytes  15.6 Gbits/sec    0   3.05 MBytes       

[  5]   7.00-8.00   sec  1.62 GBytes  13.9 Gbits/sec    0   3.05 MBytes       

[  5]   8.00-9.00   sec  1.80 GBytes  15.4 Gbits/sec    0   3.05 MBytes       

[  5]   9.00-10.00  sec  1.54 GBytes  13.3 Gbits/sec    0   3.05 MBytes       

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  16.6 GBytes  14.2 Gbits/sec                  receiver

iperf Done.

===============================================================

음------- 속도가 잘 안 나옵니다.

구글링을 합니다.

https://www.reddit.com/r/networking/comments/gd1hce/what_does_it_take_to_fill_up_100gbase/

매우 많은 전문가 분들의 절규를 헤치며 찾아낸 -P옵션...

iperf -c [ip] -P 16

===============================================================

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.22 GBytes  1.05 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   644 MBytes   540 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   642 MBytes   538 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec   893 MBytes   749 Mbits/sec    0             sender

[ 13]   0.00-10.00  sec   891 MBytes   747 Mbits/sec                  receiver

[ 15]   0.00-10.00  sec   517 MBytes   434 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   515 MBytes   432 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 17]   0.00-10.00  sec  1.26 GBytes  1.08 Gbits/sec                  receiver

[ 19]   0.00-10.00  sec  1.04 GBytes   897 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec  1.04 GBytes   895 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   915 MBytes   768 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   912 MBytes   765 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec   530 MBytes   445 Mbits/sec    0             sender

[ 23]   0.00-10.00  sec   527 MBytes   442 Mbits/sec                  receiver

[ 25]   0.00-10.00  sec   629 MBytes   528 Mbits/sec    0             sender

[ 25]   0.00-10.00  sec   628 MBytes   527 Mbits/sec                  receiver

[ 27]   0.00-10.00  sec   570 MBytes   478 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   567 MBytes   476 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec   950 MBytes   797 Mbits/sec    0             sender

[ 29]   0.00-10.00  sec   948 MBytes   795 Mbits/sec                  receiver

[ 31]   0.00-10.00  sec   702 MBytes   589 Mbits/sec    0             sender

[ 31]   0.00-10.00  sec   699 MBytes   586 Mbits/sec                  receiver

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec    0             sender

[ 33]   0.00-10.00  sec  2.11 GBytes  1.81 Gbits/sec                  receiver

[ 35]   0.00-10.00  sec   871 MBytes   730 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   867 MBytes   728 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  16.9 GBytes  14.5 Gbits/sec                  receiver

iperf Done.

===============================================================

으음, 이것도 아닙니다.

아까 디폴트 옵션으로 넘어간 클러스터 마이그레이션 옵션도 만져봅니다.

insecure로 하려면 

nano /etc/pve/datacenter.cfg

를 터미널에 쳐서 수동으로 변경해 주어야 합니다.

===============================================================

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  1.28 GBytes  1.10 Gbits/sec    0             sender

[  5]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[  7]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[  9]   0.00-10.00  sec   701 MBytes   588 Mbits/sec    0             sender

[  9]   0.00-10.00  sec   697 MBytes   585 Mbits/sec                  receiver

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 11]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 13]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 15]   0.00-10.00  sec   575 MBytes   483 Mbits/sec    0             sender

[ 15]   0.00-10.00  sec   572 MBytes   480 Mbits/sec                  receiver

[ 17]   0.00-10.00  sec   634 MBytes   532 Mbits/sec    0             sender

[ 17]   0.00-10.00  sec   630 MBytes   528 Mbits/sec                  receiver

[ 19]   0.00-10.00  sec   732 MBytes   614 Mbits/sec    0             sender

[ 19]   0.00-10.00  sec   729 MBytes   611 Mbits/sec                  receiver

[ 21]   0.00-10.00  sec   676 MBytes   567 Mbits/sec    0             sender

[ 21]   0.00-10.00  sec   672 MBytes   564 Mbits/sec                  receiver

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 23]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 25]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 27]   0.00-10.00  sec   609 MBytes   511 Mbits/sec    0             sender

[ 27]   0.00-10.00  sec   605 MBytes   508 Mbits/sec                  receiver

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 29]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec    0             sender

[ 31]   0.00-10.00  sec  1.27 GBytes  1.09 Gbits/sec                  receiver

[ 33]   0.00-10.00  sec   538 MBytes   451 Mbits/sec    0             sender

[ 33]   0.00-10.00  sec   535 MBytes   449 Mbits/sec                  receiver

[ 35]   0.00-10.00  sec   769 MBytes   645 Mbits/sec    0             sender

[ 35]   0.00-10.00  sec   766 MBytes   642 Mbits/sec                  receiver

[SUM]   0.00-10.00  sec  15.3 GBytes  13.1 Gbits/sec    0             sender

[SUM]   0.00-10.00  sec  15.2 GBytes  13.1 Gbits/sec                  receiver

iperf Done.

===============================================================

음, 역시 아닙니다.

...어쩌죠 ㅠㅠ