MikroTik이진cpu 클러스터(서버나 pc)의 용도가 웹서비스 같은 서비스 분산, 렌더링, 분산 컴파일 말고.. 뭐가 있을까요?
요샌 인공지능은 gpu 나 전용 학습칩 클러스터 쓰고 그래픽쪽은 gpu 클러스터 쓰던데..여전히 cpu 클러스터가 필요한 분야가 궁금합니다.
학술용으로 여전히 cpu 클러스터 를 하면서 성능/와트가 필요한 분야는 어떤덴가요?
-초인을 꿈꾸는 범부, 일탈을 꿈꾸는 생활인,깨어나기 두려우나 모든것이 꿈이기를 꿈꾸는 나비-
cpu 클러스터(서버나 pc)의 용도가 웹서비스 같은 서비스 분산, 렌더링, 분산 컴파일 말고.. 뭐가 있을까요?
요샌 인공지능은 gpu 나 전용 학습칩 클러스터 쓰고 그래픽쪽은 gpu 클러스터 쓰던데..여전히 cpu 클러스터가 필요한 분야가 궁금합니다.
학술용으로 여전히 cpu 클러스터 를 하면서 성능/와트가 필요한 분야는 어떤덴가요?
특화된 내용이 없다보니 더 한듯 합니다.
옛날 프로그램 들이 시피유를 사용하지만 요즘 나오는 프로그램이나 툴들은 gpu계산을 사용하니 이제 시피유는 부팅과 부속장비들 연결 해주 는 역활만 할듯 합니다.
네트워크 리소스는 아직 시피유를 사용하기는 하네요. 이것도 gpu를 사용하면 멋질듯 합니다. 쿨럭
그리고 듣기론 하다못해 인코딩도 GPU 보다 CPU 가 화질이 좋다고 하네요
MPI 이용해서 멀티 노드에서 시뮬레이션 하는 경우도 있습니다.
시뮬레이터들이 예전것들이라 요즘 나오는 GPU연산등이 잘 지원되지가 않습니다.
화학쪽도 대부분 분산처리입니다.
보통 문제는 1개인데 테스트 케이스가 많은 경우 아직 분산처리밖에는 답이 없습니다.
따라서 안정성이 답보가 되어야 되고 또한 메모리를 많이 필요로 하는 경우가 많아서 노드당 메모리를 많이 장착가능한 시스템이 필요합니다.
3T 메모리중에서 한번에 2.5T까지 쓰는 경우도 있습니다.
nuc 머신을 물론 작은 시뮬레이션 전용 풀로 만들어서 사용해도 괜찮아 보이긴 합니다.
공간 이슈도 있고 해서 어느정도 성능이 괜찮다면 사용해 볼만할 듯 싶습니다.
이론상 8.6kw max power, 1152 c 2304t 12t ram 이 가능한데..흠..한 3~4억 들려나요
몇 명의 엔지니어들은 단순히 10분에서 30분정도만 시뮬레이션을 하면 되는데 큰 시뮬레이션이 서버들을 붙잡고 돌고있어서
효율이 떨어지는 경우가 있습니다.
기존 작업이 끝날때 까지 pending이 걸려있죠. 물론 job submit 정책을 좀 수정하면 이런부분들도 어느정도 보완이 되긴 합니다만..
이런 경우라면 nuc를 많이 붙여서 짧은 작업용 큐로 사용해도 괜찮아 보입니다.
요즘 LSF 관련해서 작업중인데 개별 nuc의 성능을 한 번 보고 싶기는 하군요..
아래 epowergate 님이 말씀하신 LSF,PBS,SGE같은 grid 시스템의 앞단에서 지능적으로 분산해주는 엔진이 있으면 좋겠다는 생각도 듭니다.
엔지니어들이 던지는 job 종류와 사이즈,평균 소요시간 등등을 다 학습해서 알아서 잘 분산해주는??
리눅스에서 보통 사용하는 벤치마크 툴로 NUC 벤치 결과 좀 알려주세요.
같은 벤치마크를 현재 사용중인 제온 서버들에서 한번 돌려보겠습니다.
App마다 차이가 있지만 특정 사용자/App이 너무 오래동안 리소스를 잡고있는 상황을 해결하는 방법들이 있습니다.
기업이 사용하는 프로그램은 프로그램에서 지원해 주는지도 중요하지만 그 못지안게 중요한게 프로그램의 License 구조, 금액, 형식 입니다.
또한 여려명이 사용을 해야하니 LSF, PBS, SGE 등과의 관계도 중요합니다.
참 쉽지않은 시장입니다
1. 예산이 충분해서 H/W에 비용절감을 못느끼거나 (대기업)
2. 자체 수요가 많아서 직원들이 더 많이 알거나 (대기업)
3. App 회사들이 NUC 잘몰라요, 해버리면 구매 못하거나 (솔루션 업체 방해, 지들이 H/W도 직접 납품 원함)
4. 예산이 아예 없거나 (중견기업, 특히 요즘)
합니다.
반대로, 요즘 교육부에서 대학들에게 AI 교육/실습할 수 있는 실험실 (GPU CLUSTER) 도입을 강요하고 있습니다.
대학은 상대적으로 전문가도 없고 예산도 박하기 때문에 시장이 될수도 있겠습니다.
그런데 인건비도 못건지는 시장들이라 좀 거시기 합니다