클러스터 질문 입니다.

MikroTik이진   
   조회 2247   추천 0    

cpu 클러스터(서버나 pc)의 용도가 웹서비스 같은 서비스 분산, 렌더링, 분산 컴파일 말고.. 뭐가 있을까요?
요샌 인공지능은 gpu 나 전용 학습칩 클러스터 쓰고 그래픽쪽은 gpu 클러스터 쓰던데..여전히 cpu 클러스터가 필요한 분야가 궁금합니다.

학술용으로 여전히 cpu 클러스터 를 하면서 성능/와트가 필요한 분야는 어떤덴가요?
-초인을 꿈꾸는 범부, 일탈을 꿈꾸는 생활인,깨어나기 두려우나 모든것이 꿈이기를 꿈꾸는 나비-
짧은글 일수록 신중하게.
황진우 2020-05
계산속도 차이 때문에 시피유를 사용할 경우가 적을듯 합니다.
특화된 내용이 없다보니 더 한듯 합니다.
옛날 프로그램 들이 시피유를 사용하지만 요즘 나오는 프로그램이나 툴들은 gpu계산을 사용하니 이제 시피유는 부팅과 부속장비들 연결 해주 는 역활만 할듯 합니다.
네트워크 리소스는 아직 시피유를 사용하기는 하네요. 이것도 gpu를 사용하면 멋질듯 합니다. 쿨럭
     
음 꼭 글치는않은게.. 동영상 편집은 GPU로 해도 렌더링은 CPU로 합니다.
그리고 듣기론 하다못해 인코딩도 GPU 보다 CPU 가 화질이 좋다고 하네요
저희같은 반도체 회사에서는 시뮬레이션 용도로 사용합니다.
MPI 이용해서 멀티 노드에서 시뮬레이션 하는 경우도 있습니다.
시뮬레이터들이 예전것들이라 요즘 나오는 GPU연산등이  잘 지원되지가 않습니다.
epowergate 2020-05
바이오쪽도 대부분 분산처리입니다.
화학쪽도 대부분 분산처리입니다.
보통 문제는 1개인데 테스트 케이스가 많은 경우 아직 분산처리밖에는 답이 없습니다.
흠 분산처리용으로 함 팔아봐야하나.. 제온보다는  떨어지지만.. 전기문제가 있으니 10세대 NUCi7 은 성능이 좋더라구요
     
저희 회사의 경우 보통 시뮬레이션이 수분에서 몇일씩 걸리는 경우가 많습니다.
따라서 안정성이 답보가 되어야 되고 또한 메모리를 많이 필요로 하는 경우가 많아서 노드당 메모리를 많이 장착가능한 시스템이 필요합니다.
3T 메모리중에서 한번에 2.5T까지 쓰는 경우도 있습니다.
nuc 머신을 물론 작은 시뮬레이션 전용 풀로 만들어서 사용해도 괜찮아 보이긴 합니다.
공간 이슈도 있고 해서 어느정도 성능이 괜찮다면 사용해 볼만할 듯 싶습니다.
          
6c 12t all core 3.9ghz 25와트 tdp  노느당 64기가 램이니...뭐 192개 엮으면
이론상 8.6kw max power, 1152 c 2304t 12t ram 이 가능한데..흠..한 3~4억 들려나요
               
회사에서 LSF를 사용 중 입니다. 가끔씩 job node들이 다 차는 경우들이 있는데 이런 경우가 참 애매한 경우입니다.
몇 명의 엔지니어들은 단순히 10분에서 30분정도만 시뮬레이션을 하면 되는데 큰 시뮬레이션이 서버들을 붙잡고 돌고있어서
효율이 떨어지는 경우가 있습니다.
기존 작업이 끝날때 까지 pending이 걸려있죠.  물론 job submit 정책을 좀 수정하면 이런부분들도 어느정도 보완이 되긴 합니다만..
이런 경우라면 nuc를 많이 붙여서 짧은 작업용 큐로 사용해도 괜찮아 보입니다.
요즘  LSF 관련해서 작업중인데 개별 nuc의 성능을 한 번 보고 싶기는 하군요..

아래 epowergate 님이 말씀하신  LSF,PBS,SGE같은 grid 시스템의 앞단에서 지능적으로 분산해주는 엔진이 있으면 좋겠다는 생각도 듭니다.
엔지니어들이 던지는 job 종류와 사이즈,평균 소요시간 등등을 다 학습해서 알아서 잘 분산해주는??
                    
LSF,PBS,SGE 에 대한 1노드 성능을 벤치마크하는 툴을 알려주시면 결과를 올리지요
                         
보통 시뮬레이션 엔진으로 직접 벤치마크를 많이 합니다.  각각의 시뮬레이션들이 조금씩 특성이 있어서요.
리눅스에서 보통 사용하는 벤치마크 툴로 NUC 벤치 결과 좀 알려주세요.
같은 벤치마크를 현재 사용중인 제온 서버들에서 한번 돌려보겠습니다.
                    
epowergate 2020-05
LSF 엔지니어 불러서 상황 설명하시고 해결방안 내 놓으라고 하시면 방법 찾아옵니다.
App마다 차이가 있지만 특정 사용자/App이 너무 오래동안 리소스를 잡고있는 상황을 해결하는 방법들이 있습니다.
     
epowergate 2020-05
기업용 분산처리 업무에 시스템을 납품하려면 정확한 시장을 찾으셔야 하는데 (이미 알고 계시겠지만)
기업이 사용하는 프로그램은 프로그램에서 지원해 주는지도 중요하지만 그 못지안게 중요한게 프로그램의 License 구조, 금액, 형식 입니다.
또한 여려명이 사용을 해야하니 LSF, PBS, SGE 등과의 관계도 중요합니다.
참 쉽지않은 시장입니다
          
예 이런걸 잘몰라요 제가
               
epowergate 2020-05
이게 어려운게 분산처리 시스템이 필요한 고객들이
1. 예산이 충분해서 H/W에 비용절감을 못느끼거나 (대기업)
2. 자체 수요가 많아서 직원들이 더 많이 알거나 (대기업)
3. App 회사들이 NUC 잘몰라요, 해버리면 구매 못하거나 (솔루션 업체 방해, 지들이 H/W도 직접 납품 원함)
4. 예산이 아예 없거나 (중견기업, 특히 요즘)
합니다.

반대로, 요즘 교육부에서 대학들에게 AI 교육/실습할 수 있는 실험실 (GPU CLUSTER) 도입을 강요하고 있습니다.
대학은 상대적으로 전문가도 없고 예산도 박하기 때문에 시장이 될수도 있겠습니다.

그런데 인건비도 못건지는 시장들이라 좀 거시기 합니다
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 903/5594
2015-12   1047096   1  백메가
2014-05   4494761   1 정은준1
2020-05   1833   1 가빠로구나
2020-05   1840   1 NiteFlite9
2020-05   2812   1 Psychophysi…
2020-05   2521   1 신은왜
2020-05   2324   1 makesound
2020-05   2844   1 부산초보
2020-05   2718   1 Ansyncic
2020-05   1588   1 전직P연구원
2020-05   2526   1 가상화배움
2020-05   2285   1 응무소주
2020-05   3546   1 레나
2020-05   4306   1 arcane
2020-05   2084   1  명성호
2020-05   3708   1 딥러딥러닝
2020-05   2774   1  삐돌이슬픔이
2020-05   2307   1 Newage
2020-05   2408   1 신민철2
2020-05   2798   1  화정큐삼
2020-05   2336   1 AplPEC
2020-05   9597   1 강한구
목록
쓰기