안녕하세요!?
이 글을 통해 정말 많은 것을 깨닫고 일주일정도 밤새면서 공부해서
윈도우 hpc 2012 r2를 이용해서 클러스터 구축에 성공하였습니다..
근데 궁금한게 있어서 이렇게 여쭙니다.
서버 구성은 1node 당 제온 cpu 10cores X 2 128RAM 으로 구성되어 있으며
head node 1개, compute node 3개로 구성되어 있습니다. 7200 RPM의 하드를 가지고 있고, 기가비트 랜선과 공유기를 통해 엮여
있는 상태 입니다.
근데, 1개의 node 20개의 코어를 사용하여 계산을 할 때와
3개의 node 60 core를 사용할때와 속도의 차이가 크게 나지 않습니다. (CFD 계산이고, 한 파일이 5기가 정도 입니다.)
네트워크 상으로는 100MB/s 정도 이구요.
그래서 2가지 문제점을 생각해 보았는데
1. disk I/O
레이드를 하지 않아서 속도가 늦어진 걸 수도 있을까요?
이 경우 SSD를 사용함으로써 대체할수가 있을까요??
2. 네트워크
프로그램 권장 사양상 10기가 이더넷 / 인피니 밴드
라고 적혀 있었는데, 네트워크만 딸랑 10기가 이더넷으로 바꾼다고 한들
disk I/O가 받쳐주지 않으면 안될 것 같기도 합니다..
혹시 더 생각해보거나, 클러스터링을 통해서 속도개선이 없을 경우엔 어떻게 해야하는지
설명해 주시면 진심으로 감사드리겠습니다.
디스크 또한 걸림돌이 됩니다..
1) 1G Net - 최대 120MB/s - IO HDD - SATA3 HDD (외주, 재주를 고려 최소 180MB/s) : IO, NET 간 거의 비등한 수준.. 물론 다중 클러스터라면.. 체계적인 관리 능력이 뛰어난.. 레이어 스위치가 기본 구성되어 있어야 겠죠.. 물론 이런 구성은 가장 기본적인 클러스터링 구성으로 계산기 실 사용보단 테스트 및 공부를 하는 목적으로 구축 경험을 살리시는게 좋을 듯 싶습니다.
자 다음은 위 1기가 NET을 기준으로 경험수치가 올라가면.. 장비간 처리 대역폭 아쉬움이 정말 크게 올 것으로 판단됩니다.
그럼.. 다은 단계는 장비간 고-대역폭 관련되어
2) 10GbE / 40GbE / 100GbE 물론 정말 어마어마한 대역폭 장비 들입니다. I/O 역시 최소 운영 용량 및 하드웨어 사이즈를 고려하셔서 최대 PCI-E or RAM SSD 타입 사용을 고려하셔야 합니다. 저 역시도 300개 영상 프로젝트 동시 출력을 위한 빅데이터 영상 사이즈 처리 40GbE까지는 구축 경험이 있어 토대로 이야기드립니다.
10GbE - 실제 장비 이동간 800 ~ 1000MB/s 속도 아직 90% 이하의 수준 기술 달성 율 / 물론 I/O 장비들이 기본적으로 딸려 와야 합니다. 최소 하드웨어 사이즈 및 데이터 용량 고려 일반 SSD 사용을 고려하셔야 합니다.
40GbE - 뭐.. 가용성 영상 장비를 다뤄본 경험으로 무조건 비 공식 발표된 I/O 분야 제품을 무조건적 공수 받기를 바람. 그래도.. I/O의 답답함을 풀지 못함. 최근들어선 RAM SSD가 있어.. 이를 활용 가능성도 고려함.
100GbE - 아직 공식 상용화는 몇달 더 있어야 하구요.. 아무래도.. 아직까지 국가 기간망을 제외, 또한 기업 특수 망을 제외하곤 이를 검토하는 곳은 없을 것이라 판단. ^^
과거도 지금도 앞으로도 칩셋 내부와 칩셋간, 그리고 장비 내부와 장비간, 대역폭 관건은 계속 유발 될 것으로 예산에 적절한 구성의 고-대역을 미리 고려하심이 좋은 해결 포인트가 될 수 있습니다.
인피니벤드는 그런게 없습니다.
인피니벤드는 멜라녹스외에 쓸만한게 없습니다.
ssd도 속도는 높여주나 단일 부하에서나 그렇지 멀티 부하에서는 하드보다 더 갤갤거립니다.
문제는 원인이 어딘지 정확히 알아야 한다는 것입니다.
어플리케이션이 멀티쓰레드나 코어를 지원하는건지도 확인을 해봤는지도...
위 질문에 대한 변수는 너무나 많은데 뭐라고 답변줄수가 없습니다.