¿©·¯¸íÀÇ °³¹ßÀÚ°¡ ÇÔ²² ÀÛ¾÷ÇÒ ¼ö ÀÖ´Â ¼­¹öÀÇ °í·Á»çÇ×Àº?

   Á¶È¸ 1281   Ãßõ 0    

안녕하세요.


서버관련 견적을 짜는데 있어서 어떤 부분을 고려해야하는지 질문드립니다.


상세한 내용은 모르고 AI시스템 구축을 위한 GPU 서버의 도입을 목적으로 50명 가량의 개발자가 동시 접속하여 개발작업을 할 수 있는 하나의 서버가 필요합니다. 이때 고려해야할 사항은 무엇일까요?


물론 개발자 한 사람 한 사람이 어떤 작업을 하는지 따져봐야 하겠지만, 그냥 단순하게 다중접속 동시개발이라는 것에 초점을 맞춰서 생각해보면


CPU - 클럭보다는 다중코어/쓰레드 중심?

메모리 - 역시나 다중접속인 만큼 많은 양의 메모리?



항상 감사드립니다.


반갑습니다
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
50¸í¿¡°Ô ÇÒ´çÇÒ ¸®¼Ò½ºÀÇ ÄõÅ͸¦ ÁÖ¸é °³¹ßÀº ¸øÇصµ µ¿½ÃÁ¢¼ÓÀº °¡´ÉÇÏ°ÚÁÒ
Á¤º¸°¡ ³Ê¹« ºÎÁ·ÇÕ´Ï´Ù.
°ËÀºÄá 08-08
GPU ¼­¹ö¸é ¹¹ vllm À̳ª aphoridte ÀÇ ÇÁ·¹ÀÓ¿öÅ©·Î inference ÇϽô°ǰ¡¿ä? ¾Æ¸¶ ÀÌ°Å·Î ÇϽô °Å °°Àºµ¥, vllm À̳ª sglang, aphrodite-engine ÀÇ ÇÁ·¹ÀÓ¿öÅ©·Î 50¸íÀÌ Á¢¼ÓÇؼ­ äÆÃÇÑ´ÙÇÏ¸é ¼º´ÉÀÌ ±×·¸°Ô ÁÁÀ» ÇÊ¿ä´Â ¾ø½À´Ï´Ù. 7b~9b ¸ðµ¨(gemma2¶ó´ø°¡)À» ¼­ºùÇÑ´Ù °¡Á¤Çϸé 4090 4°³·Îµµ ¼­ºù ÃæºÐÈ÷ °¡´ÉÇÕ´Ï´Ù. fastapi ·Î ¾Õ´Ü ±¸Ãุ ÇØÁ༭ ·Îµå¹ë·±½ÌÇØÁÖ¸é ½ÉÇÃÇÏ°Ô °¡´ÉÇÕ´Ï´Ù.
¹» ÇÏ´À³Ä¿¡ µû¶ó ´Þ¶óÁö°ÚÁö¸¸, ¾ÏÆ° 50¸íÀÌ µ¿½Ã Á¢¼ÓÇÏ´Â°Ç ¿äÁò ÄÄÇ»ÅÍ·Î ÃæºÐÈ÷ °¡´ÉÇÒ°Ì´Ï´Ù.

¸¸¾à 50¸íÀÌ µ¿½Ã¿¡ ºÙ¾î¼­ ÄÄÆÄÀÏ ÀÛ¾÷À» ÇÑ´Ù¸é??
¾Æ¸¶µµ ¼öõ¸¸¿ø´ë ¸ÞÀÎÇÁ·¹ÀÓ±Þ ÄÄÇ»ÅÍ°¡ ¾Æ´Ï¶ó¸é ¹öÅͳ¾ Àåºñ°¡ ¾øÀ»µí.
´ºÁø½º 08-08
Gold 6530 x2
DDR5 32GB PC38400(4800) x4
H100 x2
ÀúÈñÇÑÅ×µµ Á¤º¸¸¦ ÀúÁ¤µµ¸¸ ÁÖ°í ¾Ë¾Æ¼­ ÇØ´Þ¶ó ÇÏ´Ï À§ »ç¾çÀ¸·Î Á¦¾ÈÇغ¸·ÁÇÕ´Ï´Ù,.
     
»ç¾çÀÌ ³Ê¹« ¾î¿ï¸®Áö°¡ ¾Ê³×¿ä...

¤·OS Æ÷ÇÔ ÀúÀå¼ÒÀÇ º´¸ñÀÌ ¾öû ½ÉÇÒ °ÍÀ¸·Î º¸À̴µ¥..

¿Ö ¸Þ¸ð¸®¸¦ 4°³¸¸ Çϳª¿ä.. ??
¹Ú¹®Çü 08-08
Àú·± °Í °ßÀû ³¾·Á¸é ÇØ´ç¾÷¹« °æÇèÀÌ ÃÖ¼Ò 5~10³âÀº ÀÖ´Â »ç¶÷ÀÌ ÇÊ¿äÇÏ°í °æÇèÀÌ À־ ¿äû»çÇ×À̳ª ¹«½¼ ÀÏÀ» ÇÏ´ÂÁö µðÅ×ÀÏÇÏ°Ô ¾Ë¾Æ¾ß ÇÏ´Â ±×·± °ÍÀ¸·Î ÆǴܵǴµ¥¿ä..

GPU ¼­¹öÀÇ Çϵå¿þ¾î¸¸ °ßÀûÀΰ¡¿ä??

GPU ¼­¹ö ¸¸ÀÌ¶óµµ µ·´ÜÀ§°¡ ½±°Ô ¾ï´ÜÀ§°¡ ³Ñ±â¿¡ °ßÀû³»´Âµ¥ ½ºÆ®·¹½º°¡ Å©´øµ¥¿ä..

±×¸®°í ÁÖ¹® ¹Þ¾Æµµ GPU ¼­¹ö ÂÊÀº GPU ¼ö±ÞÀÇ ¾î·Á¿ò ¶§¹®¿¡ µô¸®¹ö¸® ŸÀÓÀÌ ´Ê¾îÁö°í ÇÏ´Â °æ¿ì°¡ ´ëºÎºÐÀε¥ µô¸®¹ö¸® ŸÀÓÀÌ ´Ê¾îÁö¸é

ÁÖ¹®ÇÑ °í°´ÀÌ ³­¸®Ä¡´Â °æ¿ìµµ ¸¹°í °ø°ø ÀÔÂû °°Àº °æ¿ì ÇÏ·çÁö³¯¶§ ¸¶´Ù ¾ó¸¶¾¿ Â÷°¨ÇÏ´Â ÀÏÁ¾ÀÇ ¹ú±Ý °°Àº °ÍÀÌ ¸í½ÃµÇ´Â °ßÀûµµ ÀÖ½À´Ï´Ù..


¾î¶² ¼ÒÇÁÆ®¿þ¾î¸¦ ¾î¶² ÀÛ¾÷À» À§ÇØ ¾î¶»°Ô »ç¿ëÇÏ´ÂÁöµµ ¾Ë¾Æ¾ß ÇÏ°í ¾Æ¸¶ »ç¿ëÇÏ´Ù°¡ ¹®Á¦ »ý±â¸é ´Ù ÇØ°áÇØ ´Þ¶ó°í ÇÒ °Í °°³×¿ä..

¹®Á¦ »ý±â¸é ¹ÝÇ° ¹Þ¾Æ¾ß µÇ°í ½ÉÇϸé ÇÇÇغ¸»óµµ ÀϾ ¼ö Àִµ¥ ±×·± °ÍµéÀ» °¡¸¸ÇÏ½Ã°í ¾îµð±îÁö °ßÀûÀ» ³¾Áö Á¤ÇϽðí

À­ »ó»çºÐÀ̳ª »çÀå´Ô°ú ÀdzíÇϽðí ÀÏÀ» Çϼ¼¿ä..



±×¸®°í ¿£Áö´Ï¾îÀϸ¸ ÇØ¾ß ÇÏ½Ç ºÐÀÌ ¿Ø ¼Ö·ù¼Ç °ßÀû ÀÛ¾÷À» ÇÑ´ä´Ï±î??
epowergate 08-08
±×³É ¿¹»ê È®Á¤ÇÏ°í °Å±â¿¡ ¸ÂÃß´Â°Ô ´ä ÀÔ´Ï´Ù.
´ºÁø½º 08-08
ÇÏÇÏÇÏ.. ¾ÖÃÊ¿¡ °í°´»ç¿¡¼­ ¾Æ¹«·± ³»¿ë ¾øÀÌ °ßÀûÀ» ¿äûÇÏ´Ùº¸´Ï, ȸ»ç¿¡¼­ ±×³ª¸¶ ¸¹ÀÌ ¾Æ´Â Àú¿¡°Ô ÇØ´çÇÏ´Â °ßÀûÀÌ °¡´ÉÇÑÁö »ó»çºÐÀÌ ¹°¾îº¸¼Ì½À´Ï´Ù ¿£Áö´Ï¾î°¡ Àú»ÓÀ̰ŵ翩.. Àúµµ ´ë·«ÀûÀ¸·Î ¾î¶² ¼­¹ö°¡ °¡´ÉÇÏ°í ¿ä±¸ÇϽŠH100ÀåÂøÀÌ °¡´ÉÇϸç, »ùÇ÷ΠÀÌ·¯ÇÑ °ßÀûÀ» µå¸®°í¼±, Á¤È®ÇÑ ¿¹»êÀ̳ª ¿ä±¸»çÇ×À» ´Þ¶ó°í ¸»¾¸µå·È½À´Ï´Ù. Á¶¾ð °¨»çµå¸³´Ï´Ù ¼±»ý´Ô´ú
¹Ú¹®Çü 08-08
º¸Åë ÄÄÇ»ÅÍ ÂÊ¿¡¼­´Â Àü¹®ÀûÀÎ ÀÏÀ» ÇÒ ¶§ ¼ÒÇÁÆ®¿þ¾î°¡ Á¤ÇØÁö°í °Å±â¿¡ ¸ÂÃ߾ Çϵå¿þ¾î°¡ Á¤ÇØÁý´Ï´Ù..

±×¸®°í ¼ÒÇÁÆ®¿þ¾îÀÇ °¡°ÝÀÌ ´õ Å« °æ¿ì°¡ ´ëºÎºÐÀÔ´Ï´Ù..


¸¹ÀÌ ¾Ë·ÁÁö°í ¾î´À Á¤µµ ±Ø´ÜÀûÀÎ °ÍÀÌ Ä³µåÄ· ÂÊ ¼ÒÇÁÆ®¿þ¾î ÀÔ´Ï´Ù..

ÀÌ·± °Ç ¼ÒÇÁÆ®¿þ¾î ÇÑ ÆÐÅ°Áö »ç¸é °Å±â¿¡ µþ·Á ¿öÅ©½ºÅ×À̼ÇÀÌ °øÂ¥·Î µû¶ó¿À´Â °æ¿ìµµ ÀÖ½À´Ï´Ù..



GPU ¼­¹öÂÊ¿¡¼­µµ ¸¶Âù°¡ÁöÀÔ´Ï´Ù..

¸¸ÀÏ ¿£ºñµð¾ÆÃÑÆÇÀ̳ª ¿£ºñµð¾Æ ÄÚ¸®¾ÆÂÊ ¾Æ½Ã´Â ºÐÀÌ ÀÖ´Ù¸é ±× ÂÊÀ» ÅëÇØ ¾î¶² ¼Ö·ù¼ÇÀÌ ÀÖ´ÂÁö ¾Ë¾Æº¸½Ã´Â °ÍÀÌ ³ª¾Æ º¸ÀÔ´Ï´Ù..

Àü¿¡ ¿£ºñµð¾ÆÂÊ ¼ÒÇÁÆ®¿þ¾î Áß¿¡¼­ ½Ã°£´ç ¾ó¸¶ ÇÏ´Â ¼ÒÇÁÆ®¿þ¾î°¡ ÀÖ´Ù´Â °Íµµ °£Á¢ÀûÀ¸·Î µéÀº ÀûÀÌ ÀÖ½À´Ï´Ù..
     
´ºÁø½º 08-08
´äº¯ °¨»çµå¸³´Ï´Ù ´öºÐ¿¡ ¸¹ÀÌ ¹è¿ì°í ÀÖ½À´Ï´Ù
¹Ú¹®Çü 08-08
50¸í °¡·®ÀÇ °³¹ßÀÚ°¡ µ¿½Ã Á¢¼ÓÇÏ¿© °³¹ßÀÛ¾÷À» ÇÒ ¼ö ÀÖ´Â ÇϳªÀÇ ¼­¹ö

=> 1»ç¶÷ÀÌ Á¢¼ÓÇÏ¿© ÀÛ¾÷½Ã ¾ó¸¶¸¸ÇÑ ³×Æ®¿öÅ© ¼º´É(´ë¿ªÆø,¼Óµµ,Ç°Áú)ÀÌ ÇÊ¿äÇÑ°¡??

=> ÀÛ¾÷½Ã 1»ç¶÷ÀÇ ÄÄÇ»ÅÍ »ç¾ç°ú ³×Æ®¿öÅ© ¼Óµµ´Â ¾î¶°ÇÑ°¡??

=> 50¸í µ¿½Ã Á¢¼Ó½Ã ¹öÆ¿¼ö Àִ³×Æ®¿öÅ©´Â ¾î¶² Àåºñ¸¦ »ç¿ëÇØ¾ß Çϴ°¡??

=> ¼­¹ö°¡ 50¸í µ¿½ÃÁ¢¼Ó°ú °Å±â¿¡¼­ ¹ß»ýÇÏ´Â ºÎÇϸ¦ °ßµ®³¾ ¼ö Àִ°¡??

=> 50¸í µ¿½ÃÁ¢¼ÓÇÏ¿© ¸¸µé¾î³½ µ¥ÀÌÅ͸¦ µô·¹À̾øÀÌ ¹Þ¾Æ³¾ ½ºÅ丮Áö Àåºñ°¡ Àִ°¡??


GPU ¼­¹ö°¡ ¾Æ´Ï´õ¶óµµ ´ëÃæ ÀÌ·± °Í °ËÅäÇØ¾ß ÇÕ´Ï´Ù..

¹®Á¦ ¹ß»ý½Ã ¿ì¸®°¡ ³³Ç°ÇÑ ¼­¹öÀÇ ¹®Á¦ÀÌ´Ù ¾Æ´Ï´Ù Á¤µµ´Â ÆÇ´ÜÇÒ ¼ö ÀÖ´Â ´É·ÂÀÌ ÀÖ¾î¾ß ÇÕ´Ï´Ù.. ±×·¡¾ß ³ªÁß¿¡ µ¶¹ÚÀ» ¾È ¾¹´Ï´Ù..

Àú·± ½ÄÀ¸·Î ³×Æ®¿öÅ© ÀÛ¾÷À» ÇÏ´Â ÀÛ¾÷Àº µ¿¿µ»óÆíÁýÂÊ (¿µÈ­ / ¿¡´Ï¸ÞÀÌ¼Ç Á¦ÀÛ) Á¤µµ°¡ ÀÖÁö ¾ÊÀ»±î ÇÕ´Ï´Ù..


QnA
Á¦¸ñPage 124/5691
2014-05   5017465   Á¤ÀºÁØ1
2015-12   1552861   ¹é¸Þ°¡
06-01   1277   Sakura24
2022-07   1277   epowergate
03-08   1278   ÀüÀÏÀå
07-13   1278   yummy
2023-02   1278   azchoi
2023-07   1278   ³óºÎ76
03-22   1278   À¯È£ÁØ
2022-08   1278   ÀÌÈñÁÖ
05-17   1278   sasaz
02-24   1278   song05
02-10   1278   »ê°ñ³óºÎ
02-23   1279   narumir
2023-01   1279   ÃÖ°­
2022-12   1280   ¹Ú¹®Çü
2023-03   1280   Andrew
07-18   1280   ¹Ú»ó¹ü
01-29   1280   Çã¹Ö¹öµå
2022-09   1280   whitestar88
2023-09   1280   Á¾ÇÕ¸¸¹°»ó
04-08   1280   »ßµ¹À̽½ÇÄÀÌ