¸ÆºÏ llm ½Ç¼­ºñ½º Ãß·Ð ¼­¹ö ±¸Ãà °¡¼ººñ ¹®ÀÇ¿ä..

mvwiz   
   Á¶È¸ 1477   Ãßõ 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
allentl 04-07
¸ÆÀÌ ÁÁ±â´Â Çѵ¥... ½ÇÁ¦ ¼­ºñ½º¸¦ ±¼¸®½Ã·Á¸é ÇÑ´ë·Î´Â ¸¹ÀÌ ºÎÁ·ÇÕ´Ï´Ù. ¸Æ ½ºÆ©µð¿À 192±ÞÀ¸·Î Ŭ·¯½ºÅÍ ¼ÂÆÃÇÑ µÚ¿¡ mlx ÃÖÀûÈ­ ÈÄ ¾çÀÚÈ­ ÅëÇؼ­ ¿©·¯ ÀνºÅϽº ¼­ºù °¡´ÉÇÏ°Ô ÇÏ¼Å¾ß ÇØ¿ä.
     
mvwiz 04-07
´º½º ±â»ç ¿ä¾àÀ̶û ¹ø¿ª °°Àºµ¥ ¾²À̴µ¥ °£º¸´Ù°¡ ¿©·¯´ë ¼¼ÆÃÇÒ ¿¹Á¤ÀÌ¿¡¿©. ¸Æ ½ºÆ©µð¿À´Â m2 ¹Û¿¡ ¾ø¾î¼­ ¼º´É ¶³¾îÁö´õ¶ó±¸¿ä.

¾çÀÚÈ­ Ä÷¸®Æ¼ Â÷ÀÌ ¸¹ÀÌ ³ª³ª¿ä?
¹èÄ¡ÀÛ¾÷À¸·Î µ¥ÀÌÅÍ º¯È¯ µ¹¸®´Â°Å¶ó¼­ ÀνºÅϽº ´Ã·ÁºÃÀÚ Àüü ó¸® ¼ÓµµÂ÷ÀÌ´Â ºñ½ÁÇϱä ÇÏ´õ¶ó±¸¿ä. ´ÙÁß »ç¿ëÀÚ ´ë»ó ¼­ºñ½º¶ó±â º¸´Ù ¹èÄ¡ÀÛ¾÷ api ¼­¹ö
mvwiz 04-07
Áú¹® ¿Ã¸®´Â ÀÌÀ¯°¡ Á¦°¡ ºÃÀ»¶§ °¡¼ººñ ÃÖ°í ÀΰŠ°°Àºµ¥ ¾²´Âµ¥°¡ ¾ø´õ¶ó±¸¿ä. µû·Î ¾ÈÇÏ´Â ÀÌÀ¯°¡ ÀÖ¿ï±î Çؼ­¿ä.
¼úÀÌ 04-07
¸Æ¿¡ ´ëÇÑ È¯»óÀ» ¹ö¸®¼¼¿ä ÀÖ´Â ±×´ë·Î ½á¾ßµË´Ï´Ù.
extra 04-08
ÇнÀ¿ëÀÌ ¾Æ´Ï¶ó¸é °¡º­¿î LLM ¸ðµ¨ ±¸Çؼ­ ±×°É·Î ¼öÇàÇϼ¼¿ä.
¿¹¸¦ µé¸é gemma-2b ÀÇ °æ¿ì¿¡´Â ½Ç½Ã°£ ¼öÁØÀº »óȲ¿¡ µû¶ó ¾î·Æ±ä Çصµ CPU·Îµµ 20ÃÊ~30ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£À» º¸¿©ÁÖ±ä ÇÕ´Ï´Ù.
¿ªÀ¸·Î 20ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£ÀÌ ³Ê¹« ±æ¸é ÀÚüÀûÀ¸·Î ¸ðµ¨ °³·®ÇÏ½Ã´Â°Ô ÁÁÀ» µí ½Í½À´Ï´Ù.
¸ÆÀ¸·Î ½Ç ¼­ºñ½º¸¦ ¿î¿µÇÏ´Â °æ¿ì´Â ºñ¿ëÀû ¹®Á¦·Î Àß ÇÏÁö ¾Ê´Â ¼±ÅÃÁöÀÔ´Ï´Ù.
±×¸®°í ¸Æ cpu°¡ ¾îÂ¸é ¿µ»óÀ̳ª À̹ÌÁö 󸮿¡¼± Àü¿ë Çϵå¿þ¾î¸¦ Ãß°¡ÇÏ¿© °³¼±ÇÑ ºÎºÐÀÌ Å©´Ùº¸´Ï »ý°¢º¸´Ù Å« ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
´À¸®´Ù´Â °Ç ¾Æ´Ñµ¥ ±×·¸´Ù°í ÀÌ°Ô Å¸ Á¦Ç°´ëºñ ¾öû ºü¸£´Ù ¶ó´Â°Ô ¾ø¾î¼­¿ä.(´ÜÁö, arm °è¿­ Áß¿¡¼­ ºü¸£´Ù ÀÌ°í ÇÏÀÌ¿£µå CPU¿Í ºñ±³ ½Ã ¾ÆÁ÷Àº ºÎÁ·ÇÑ ¼º´ÉÀ» º¸¿©ÁÝ´Ï´Ù. ÀϺΠºü¸¥ °Ç Àü¿ë Çϵå¿þ¾î¸¦ ÅëÇÑ °¡¼Ó Áö¿øÀÔ´Ï´Ù.)
¾Æ´Ï¸é AMD ·Î ROCmÀ¸·Î Ã߷м­¹ö ±¸ÃàÇÏ´Â °Íµµ ÇϳªÀÇ ¹æ¹ýÀÌ Àֳ׿ä.
Âü°í·Î ¸»ÇÏÀÚ¸é ¿£ºñµð¾Æ << AMD <<< ¸ÆÀÔ´Ï´Ù.
¿£ºñµð¾Æ°¡ ÀϹÝÀûÀ¸·Î AMD¿¡ ºñÇØ 2~10¹è Á¤µµ ºü¸£´Ù ¶ó°í »ý°¢ÇÏ½Ã¸é µÅ°í, AMD GPU°¡ ¸Æº¸´Ù 10¹è Á¤µµ´Â ´õ ºü¸£´Ù¶ó°í º¸½Ã¸é µË´Ï´Ù.
NPU ¶ó°í Çؼ­ ´º·± ó¸® ºÎºÐÀº M1 ºÎÅÍ µé¾î°¡±ä Çߴµ¥ ±â´ë ÀÌ»óÀÇ ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
ÁøÂ¥ ¼ø¼öÇÏ°Ô VRAM À» ´ÜÀÏ ¸Ó½Å¿¡¼­ ÃÖ´ëÇÑ °ª ½Î°Ô ¿Ã¸®´Â°Ô ÀüºÎÀÔ´Ï´Ù.
¸ÆÀÌ AI ºÐ¾ß¿¡¼­ »ç¿ëµÇ´Â ¿¬»êÀ» Çϵå¿þ¾î ¼öÁØ¿¡¼­ Á÷Á¢ Áö¿øÇÏ´Â°Ô ¾Æ´Ï¶ó ÀϹÝÀûÀÎ CPU º¸´Ù ºü¸¦ »ÓÀÌÁö Ÿ GPU¿Í ºñ±³ÇÏ¸é ¾ÆÁ÷ ¸î¼¼´ë¸¦ ´õ ±â´Ù¸®¼Å¾ß ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 107/5686
2015-12   1507845   ¹é¸Þ°¡
2014-05   4971562   Á¤ÀºÁØ1
2014-10   3904   À̵¿¿øCH
2016-02   20494   VSPress
2018-03   3628   ¾Æ³¯·Î±×
2006-08   4894   À̹®Èì
2014-10   29964   °¡ºü·Î±¸³ª
2017-01   5794   LINKINPARK
2020-07   3157   Æ縯
2010-04   10049   ±è»óÈñ
2014-10   15490   ÄÄÁö±â
2014-10   6278   ¿©ÁÖÀÌ»óµ·
2017-01   4363   Sikieiki
2016-02   3520   ÀÌ»óÀ±SY
2020-07   3520   ¾îÄg
2013-05   14664   ¹Ú¼º¸¸
2010-05   10126   ½Å°ü¾Ç»ê
2010-05   8002   ±èÀ±¼ú
2013-05   5428   agegold
2017-01   4196   Å×·¯¸®½ºÆ®
2020-07   3722   È¥ÀÚ°¡´Â±æ
2010-05   9100   song05