랩 구성 완료 :: 2cpu, 지름이 시작되는 곳!

쓰기

[Server] 랩 구성 완료

송주환

2022-07

2022-07-16 20:40:47

조회 13124 추천 2

상단부터 방화벽, 매니지먼트용 스위치 둘(이중화), 아리스타 스위치 (ToR), 컴퓨트 클러스터용 화웨이 노드 4대, 매니지먼트 클러스터용 FX2s (4노드 구성), 스토리지 서버, UPS 입니다.

각 노드는 E5-2680v4, 128GB 메모리 구성이며 각 40G 듀얼, 10G 듀얼, 1G 듀얼 포트를 가지고 있습니다. 대부분 CX-4여서 향후 100G 업그레이드에도 대응할 수 있게 하였습니다.

스토리지 서버는 VROC를 이용한 NVMe RAID를 구성하였으며, NIC은 CX-6 듀얼 포트를 사용합니다. NVMe-oF 타겟으로 SPDK를 사용하기에 옵테인 캐시는 하는 일 없이 놀고 있습니다. 옵테인은 조만간 매각해야 할 것 같습니다.

네트워크는 VLAN+GENEVE로 구성되며, SDN은 NSX-T로 구현됩니다. 현재 VM 네트워크 세그멘테이션 PoC가 끝났습니다. 이번 주에 BGP 연동 및 ALB 적용을 진행하려고 합니다.

마자막으로 UPS는 Eaton의 9PX6000인데, 다행히도 vCenter가 IPM을 통한 매니지먼트를 지원하여 정전 시 연결된 VM과 장비들을 순차적으로 종료하도록 설정하였습니다. 한편, 공유 스토리지를 마지막에 종료시킬 필요가 있었으나 IPM 1.0은 IPMI를 통한 전원제어를 지원하지 않아 별도 오픈소스 솔루션을 써야 했습니다. 이 점이 살짝 아쉽습니다.

예상 기간보다 대략 5달 정도의 시간이 더 소요되었는데, 만들고 나니 뿌듯하고 좋네요.

짧은글 일수록 신중하게.



박문형 2022-07 수고하셨습니다.. PDU는 어느 회사 제품인가요?? 수고하셨습니다.. PDU는 어느 회사 제품인가요??



송주환 2022-07 랙과 PDU는 HPE 입니다 랙과 PDU는 HPE 입니다



maronet 2022-07 qsfp dac 케이블 정리하기 참 어려운거 같아요. qsfp dac 케이블 정리하기 참 어려운거 같아요.



송주환 2022-07 100G EDR 케이블부터는 진짜 정리하기가 어렵습니다. HDR 부터는 거의 불가능해 질 것 같아요. 100G EDR 케이블부터는 진짜 정리하기가 어렵습니다. HDR 부터는 거의 불가능해 질 것 같아요.



maronet 2022-07 스위치 왼쪽에 약간 가는거 여러개 묶인거 같은데 100G 케이블이죠? 보기만해도 QSFP보다 더 힘들 것 같아요. 전 처음에 10G를 DAC로 했다가 결국 광으로 바꿨습니다. 스위치 상단에 작은 스위치를 오른쪽으로 옮겨서, 케이블 보관(?) 공간좀 만들어서 케이블들 다 거기다 일단 올렸다가, 필요한 만큼만 타고 내려오면 더 나을 것 같아요. 스위치 왼쪽에 약간 가는거 여러개 묶인거 같은데 100G 케이블이죠? 보기만해도 QSFP보다 더 힘들 것 같아요. 전 처음에 10G를 DAC로 했다가 결국 광으로 바꿨습니다. 스위치 상단에 작은 스위치를 오른쪽으로 옮겨서, 케이블 보관(?) 공간좀 만들어서 케이블들 다 거기다 일단 올렸다가, 필요한 만큼만 타고 내려오면 더 나을 것 같아요.



송주환 2022-07 저 케이블들은 100G to 25G Breakout 케이블입니다. 첫 사진에는 EDR/FDR 케이블이 섞여 있는데, 더 두꺼운 쪽이 EDR입니다 ㅎㅎ 저 케이블들은 100G to 25G Breakout 케이블입니다. 첫 사진에는 EDR/FDR 케이블이 섞여 있는데, 더 두꺼운 쪽이 EDR입니다 ㅎㅎ



maronet 2022-07 아~ 그렇군요. 실무를 안하니 25G 이상 구경해본 적이 없어서요. ㅠ.ㅠ 아~ 그렇군요. 실무를 안하니 25G 이상 구경해본 적이 없어서요. ㅠ.ㅠ



maronet 2022-07 저도 복권 맞아서 서버살일이 생긴다면 FX2s 같은 4노드 서버 2대 사서 쓰고 싶습니다 ㅠ.ㅠ 근디 저거도 네트워크 케이블은 다 밖으로 나와서 케이블 정리 쉽지 않을 것 같기는 합니다. 저도 복권 맞아서 서버살일이 생긴다면 FX2s 같은 4노드 서버 2대 사서 쓰고 싶습니다 ㅠ.ㅠ 근디 저거도 네트워크 케이블은 다 밖으로 나와서 케이블 정리 쉽지 않을 것 같기는 합니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

hardware

쓰기

13/283

번호	제목Page 13/283	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5247581	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5247581 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1772886	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1772886 1 백메가
5415	(Mainboard) 제온 D-1581 보드 전력소비 정밀 측정 (약간 망함) (10)	댕댕이	2022-08	12625	0
(Mainboard) 제온 D-1581 보드 전력소비 정밀 측정 (약… (10) 2022-08 12625 1 댕댕이
5414	(ETC) 그램2022 발열 문제를 해결할 팁 방법. (10)	덕스턴트	2022-08	16247	0
(ETC) 그램2022 발열 문제를 해결할 팁 방법. (10) 2022-08 16247 1 덕스턴트
5413	(Workstation) cpu z 18000점 뚫었습니당 (4)	군인1	2022-07	10158	0
(Workstation) cpu z 18000점 뚫었습니당 (4) 2022-07 10158 1 군인1
5412	(VGA) Hp 엘리트데스크 부품변경 문의 (1)	카이제린	2022-07	13115	0
(VGA) Hp 엘리트데스크 부품변경 문의 (1) 2022-07 13115 1 카이제린
5411	(Server) 랩 구성 완료 (8)	송주환	2022-07	13125	2
(Server) 랩 구성 완료 (8) 2022-07 13125 1 송주환
5410	(ETC) UPS 네트워크 설정 완료 (1)	송주환	2022-07	12474	0
(ETC) UPS 네트워크 설정 완료 (1) 2022-07 12474 1 송주환
5409	(CPU) 타오바오발 D-1581 유튜브 리뷰 (3)	미친감자	2022-06	19191	0
(CPU) 타오바오발 D-1581 유튜브 리뷰 (3) 2022-06 19191 1 미친감자
5408	(Controller) HP Gen7-Remote Access Card 사용 (8)	통통9	2022-06	17578	0
(Controller) HP Gen7-Remote Access Card 사용 (8) 2022-06 17578 1 통통9
5407	(VGA) 잘모르는 pci-x 그래픽카드 (7)	2CPU최주희	2022-06	18341	0
(VGA) 잘모르는 pci-x 그래픽카드 (7) 2022-06 18341 1 2CPU최주희
5406	(Mainboard) Asrock 서버 IPMI remote console 사용 (2)	통통9	2022-06	15458	1
(Mainboard) Asrock 서버 IPMI remote console 사용 (2) 2022-06 15458 1 통통9
5405	(VGA) 쿼드로 4000이 이렇게 뜨거웠을 줄이야.. (2)	박문형	2022-06	15541	0
(VGA) 쿼드로 4000이 이렇게 뜨거웠을 줄이야.. (2) 2022-06 15541 1 박문형
5404	(ETC) Thecus N5200Pro 모니터 연결 (16)	통통9	2022-06	19291	0
(ETC) Thecus N5200Pro 모니터 연결 (16) 2022-06 19291 1 통통9
5403	(Workstation) Z2 mini g4 I7 8700 (5)	sinabro	2022-06	14521	0
(Workstation) Z2 mini g4 I7 8700 (5) 2022-06 14521 1 sinabro
5402	(Mainboard) D-1581 보드로 만든 저렴이 자작 NAS. (9)	RuBisCO	2022-06	15139	0
(Mainboard) D-1581 보드로 만든 저렴이 자작 NAS. (9) 2022-06 15139 1 RuBisCO
5401	(ETC) VME - VXWORKS 전문가 분이 계실까요? (3)	신도리코	2022-06	12113	0
(ETC) VME - VXWORKS 전문가 분이 계실까요? (3) 2022-06 12113 1 신도리코
5400	(Cooler) 5600G의 신세계를 맛보고 있습니다. (feat.미스터20님) (11)	댕댕이	2022-05	18273	0
(Cooler) 5600G의 신세계를 맛보고 있습니다. (feat… (11) 2022-05 18273 1 댕댕이
5399	(Server) 스토리지 서버 도착 (14)	송주환	2022-05	12230	1
(Server) 스토리지 서버 도착 (14) 2022-05 12230 1 송주환
5398	(Server) 후지쯔 서버 RX2540M6R5 (7)	잘살아보세	2022-05	7160	0
(Server) 후지쯔 서버 RX2540M6R5 (7) 2022-05 7160 1 잘살아보세
5397	(HDD) 시게이트 모멘터스 XT 750GB SSHD (4)	박문형	2022-05	5644	0
(HDD) 시게이트 모멘터스 XT 750GB SSHD (4) 2022-05 5644 1 박문형
5396	(CPU) HP Z620에서의 프리미어 최적 CPU?? (9)	모자란트	2022-05	6921	0
(CPU) HP Z620에서의 프리미어 최적 CPU?? (9) 2022-05 6921 1 모자란트