ڰ Բ ۾ ִ ?

   
   ȸ 1181   õ 0    

안녕하세요.


서버관련 견적을 짜는데 있어서 어떤 부분을 고려해야하는지 질문드립니다.


상세한 내용은 모르고 AI시스템 구축을 위한 GPU 서버의 도입을 목적으로 50명 가량의 개발자가 동시 접속하여 개발작업을 할 수 있는 하나의 서버가 필요합니다. 이때 고려해야할 사항은 무엇일까요?


물론 개발자 한 사람 한 사람이 어떤 작업을 하는지 따져봐야 하겠지만, 그냥 단순하게 다중접속 동시개발이라는 것에 초점을 맞춰서 생각해보면


CPU - 클럭보다는 다중코어/쓰레드 중심?

메모리 - 역시나 다중접속인 만큼 많은 양의 메모리?



항상 감사드립니다.


반갑습니다
ª ϼ ϰ.
08-08
50 Ҵ ҽ ͸ ָ ص ϰ
ʹ մϴ.
08-08
GPU vllm ̳ aphoridte ӿũ inference Ͻô°ǰ? Ƹ ̰ŷ Ͻô , vllm ̳ sglang, aphrodite-engine ӿũ 50 ؼ äѴϸ ׷ ʿ ϴ. 7b~9b (gemma2) Ѵ ϸ 4090 4ε մϴ. fastapi մ ุ ༭ ε뷱ָ ϰ մϴ.
08-08
ϴĿ ޶, ư 50 ϴ° ǻͷ Ұ̴ϴ.

50 ÿ پ ۾ Ѵٸ??
Ƹ õ ӱ ǻͰ ƴ϶ ͳ .
08-08
Gold 6530 x2
DDR5 32GB PC38400(4800) x4
H100 x2
׵ ְ ˾Ƽ ش޶ ϴ غմϴ,.
     
08-08
ʹ ︮ ʳ׿...

OS û ̴µ..

޸𸮸 4 ϳ.. ??
ڹ 08-08
ش ּ 5~10 ִ ʿϰ ־ û̳ ϴ ϰ ˾ƾ ϴ ׷ ǴܵǴµ..

GPU ϵ ΰ??

GPU ̶ ѱ⿡ µ Ʈ ũ..

׸ ֹ ޾Ƶ GPU GPU Ÿ ʾ ϴ 찡 κε Ÿ ʾ

ֹ ġ 쵵 Ϸ 󸶾 ϴ õǴ ֽϴ..


 Ʈ  ۾  ϴ ˾ƾ ϰ Ƹ ϴٰ ذ ޶ ׿..

ǰ ޾ƾ ǰ ϸ غ Ͼ ִµ ׷ ͵ Ͻð Ͻð

̳ ԰ dzϽð ϼ..



׸ Ͼϸ ؾ Ͻ ַ ۾ Ѵϱ??
epowergate 08-08
׳ Ȯϰ ű⿡ ߴ° Դϴ.
08-08
.. ʿ 翡 ƹ ûϴٺ, ȸ翡 ׳ ƴ شϴ ̽ϴ Ͼ ̰ŵ翩.. 뷫  ϰ 䱸Ͻ H100 ϸ, ÷ ̷ 帮, Ȯ ̳ 䱸 ޶ Ƚϴ. 帳ϴ Դ
ڹ 08-08
ǻ ʿ Ʈ ű⿡ ߾ ϵ ϴ..

׸ Ʈ ū 찡 κԴϴ..


˷ ش ijķ Ʈ Դϴ..

̷ Ʈ Ű ű⿡ ũ̼ ¥ 쵵 ֽϴ..



GPU ʿ Դϴ..

̳ ڸ ƽô ִٸ  ַ ִ ˾ƺô Դϴ..

Ʈ ߿ ð ϴ Ʈ ִٴ ͵ ֽϴ..
     
08-08
亯 帳ϴ п ֽϴ
ڹ 08-08
50 ڰ Ͽ ۾ ִ ϳ

=> 1 Ͽ ۾ 󸶸 Ʈũ (뿪,ӵ,ǰ) ʿѰ??

=> ۾ 1 ǻ Ʈũ ӵ Ѱ??

=> 50 ӽ ƿ ִ³Ʈũ  ؾ ϴ°??

=> 50 Ӱ ű⿡ ߻ϴ ϸ ߵ ִ°??

=> 50 Ͽ  ͸ ̾ ޾Ƴ 丮 ִ°??


GPU ƴϴ ̷ ؾ մϴ..

߻ 츮 ǰ ̴ ƴϴ Ǵ ִ ɷ ־ մϴ.. ׷ ߿ ϴ..

Ʈũ ۾ ϴ ۾ (ȭ / ϸ̼ ) մϴ..


QnA
Page 5574/5683
2015-12   1492973   ް
2014-05   4956505   1
07-24   1183   ̴
01-01   1182   vwev
2022-04   1182   AMD
05-17   1182   õ
2023-03   1182   11
08-08   1182  
02-24   1182   üǻ
2022-06   1182   yollman
2022-09   1182  
2023-04   1182   ΰ濭
2023-06   1182  
2023-02   1182   xMir
01-21   1182   ComAreMot
05-20   1181   ʺڿ
02-06   1181   2CPU
2023-11   1181   Ȧ0o0
2023-09   1181   VSPress
07-10   1181   ̴
02-28   1181   NiteFlite9
03-30   1181