¸ÆºÏ llm ½Ç¼­ºñ½º Ãß·Ð ¼­¹ö ±¸Ãà °¡¼ººñ ¹®ÀÇ¿ä..

mvwiz   
   Á¶È¸ 1576   Ãßõ 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
allentl 04-07
¸ÆÀÌ ÁÁ±â´Â Çѵ¥... ½ÇÁ¦ ¼­ºñ½º¸¦ ±¼¸®½Ã·Á¸é ÇÑ´ë·Î´Â ¸¹ÀÌ ºÎÁ·ÇÕ´Ï´Ù. ¸Æ ½ºÆ©µð¿À 192±ÞÀ¸·Î Ŭ·¯½ºÅÍ ¼ÂÆÃÇÑ µÚ¿¡ mlx ÃÖÀûÈ­ ÈÄ ¾çÀÚÈ­ ÅëÇؼ­ ¿©·¯ ÀνºÅϽº ¼­ºù °¡´ÉÇÏ°Ô ÇÏ¼Å¾ß ÇØ¿ä.
     
mvwiz 04-07
´º½º ±â»ç ¿ä¾àÀ̶û ¹ø¿ª °°Àºµ¥ ¾²À̴µ¥ °£º¸´Ù°¡ ¿©·¯´ë ¼¼ÆÃÇÒ ¿¹Á¤ÀÌ¿¡¿©. ¸Æ ½ºÆ©µð¿À´Â m2 ¹Û¿¡ ¾ø¾î¼­ ¼º´É ¶³¾îÁö´õ¶ó±¸¿ä.

¾çÀÚÈ­ Ä÷¸®Æ¼ Â÷ÀÌ ¸¹ÀÌ ³ª³ª¿ä?
¹èÄ¡ÀÛ¾÷À¸·Î µ¥ÀÌÅÍ º¯È¯ µ¹¸®´Â°Å¶ó¼­ ÀνºÅϽº ´Ã·ÁºÃÀÚ Àüü ó¸® ¼ÓµµÂ÷ÀÌ´Â ºñ½ÁÇϱä ÇÏ´õ¶ó±¸¿ä. ´ÙÁß »ç¿ëÀÚ ´ë»ó ¼­ºñ½º¶ó±â º¸´Ù ¹èÄ¡ÀÛ¾÷ api ¼­¹ö
mvwiz 04-07
Áú¹® ¿Ã¸®´Â ÀÌÀ¯°¡ Á¦°¡ ºÃÀ»¶§ °¡¼ººñ ÃÖ°í ÀΰŠ°°Àºµ¥ ¾²´Âµ¥°¡ ¾ø´õ¶ó±¸¿ä. µû·Î ¾ÈÇÏ´Â ÀÌÀ¯°¡ ÀÖ¿ï±î Çؼ­¿ä.
¼úÀÌ 04-07
¸Æ¿¡ ´ëÇÑ È¯»óÀ» ¹ö¸®¼¼¿ä ÀÖ´Â ±×´ë·Î ½á¾ßµË´Ï´Ù.
extra 04-08
ÇнÀ¿ëÀÌ ¾Æ´Ï¶ó¸é °¡º­¿î LLM ¸ðµ¨ ±¸Çؼ­ ±×°É·Î ¼öÇàÇϼ¼¿ä.
¿¹¸¦ µé¸é gemma-2b ÀÇ °æ¿ì¿¡´Â ½Ç½Ã°£ ¼öÁØÀº »óȲ¿¡ µû¶ó ¾î·Æ±ä Çصµ CPU·Îµµ 20ÃÊ~30ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£À» º¸¿©ÁÖ±ä ÇÕ´Ï´Ù.
¿ªÀ¸·Î 20ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£ÀÌ ³Ê¹« ±æ¸é ÀÚüÀûÀ¸·Î ¸ðµ¨ °³·®ÇÏ½Ã´Â°Ô ÁÁÀ» µí ½Í½À´Ï´Ù.
¸ÆÀ¸·Î ½Ç ¼­ºñ½º¸¦ ¿î¿µÇÏ´Â °æ¿ì´Â ºñ¿ëÀû ¹®Á¦·Î Àß ÇÏÁö ¾Ê´Â ¼±ÅÃÁöÀÔ´Ï´Ù.
±×¸®°í ¸Æ cpu°¡ ¾îÂ¸é ¿µ»óÀ̳ª À̹ÌÁö 󸮿¡¼± Àü¿ë Çϵå¿þ¾î¸¦ Ãß°¡ÇÏ¿© °³¼±ÇÑ ºÎºÐÀÌ Å©´Ùº¸´Ï »ý°¢º¸´Ù Å« ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
´À¸®´Ù´Â °Ç ¾Æ´Ñµ¥ ±×·¸´Ù°í ÀÌ°Ô Å¸ Á¦Ç°´ëºñ ¾öû ºü¸£´Ù ¶ó´Â°Ô ¾ø¾î¼­¿ä.(´ÜÁö, arm °è¿­ Áß¿¡¼­ ºü¸£´Ù ÀÌ°í ÇÏÀÌ¿£µå CPU¿Í ºñ±³ ½Ã ¾ÆÁ÷Àº ºÎÁ·ÇÑ ¼º´ÉÀ» º¸¿©ÁÝ´Ï´Ù. ÀϺΠºü¸¥ °Ç Àü¿ë Çϵå¿þ¾î¸¦ ÅëÇÑ °¡¼Ó Áö¿øÀÔ´Ï´Ù.)
¾Æ´Ï¸é AMD ·Î ROCmÀ¸·Î Ã߷м­¹ö ±¸ÃàÇÏ´Â °Íµµ ÇϳªÀÇ ¹æ¹ýÀÌ Àֳ׿ä.
Âü°í·Î ¸»ÇÏÀÚ¸é ¿£ºñµð¾Æ << AMD <<< ¸ÆÀÔ´Ï´Ù.
¿£ºñµð¾Æ°¡ ÀϹÝÀûÀ¸·Î AMD¿¡ ºñÇØ 2~10¹è Á¤µµ ºü¸£´Ù ¶ó°í »ý°¢ÇÏ½Ã¸é µÅ°í, AMD GPU°¡ ¸Æº¸´Ù 10¹è Á¤µµ´Â ´õ ºü¸£´Ù¶ó°í º¸½Ã¸é µË´Ï´Ù.
NPU ¶ó°í Çؼ­ ´º·± ó¸® ºÎºÐÀº M1 ºÎÅÍ µé¾î°¡±ä Çߴµ¥ ±â´ë ÀÌ»óÀÇ ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
ÁøÂ¥ ¼ø¼öÇÏ°Ô VRAM À» ´ÜÀÏ ¸Ó½Å¿¡¼­ ÃÖ´ëÇÑ °ª ½Î°Ô ¿Ã¸®´Â°Ô ÀüºÎÀÔ´Ï´Ù.
¸ÆÀÌ AI ºÐ¾ß¿¡¼­ »ç¿ëµÇ´Â ¿¬»êÀ» Çϵå¿þ¾î ¼öÁØ¿¡¼­ Á÷Á¢ Áö¿øÇÏ´Â°Ô ¾Æ´Ï¶ó ÀϹÝÀûÀÎ CPU º¸´Ù ºü¸¦ »ÓÀÌÁö Ÿ GPU¿Í ºñ±³ÇÏ¸é ¾ÆÁ÷ ¸î¼¼´ë¸¦ ´õ ±â´Ù¸®¼Å¾ß ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 3663/5691
2015-12   1551885   ¹é¸Þ°¡
2014-05   5016423   Á¤ÀºÁØ1
01-08   1774   kmg010
2013-10   17630   ¾Æ¸§´Ù¿î³ëÀ»
2015-02   4902   ÇѼºÈ£
2018-06   6022   Sakura24
2011-03   7372   ÀÌÄ¡·Î¿î
2013-10   17856   s±èÁ¾È­z
2016-04   4100   Christopher
2019-08   5519   ³ª´Â°üÁ¦
01-12   1386   ¸ðÀÚ¶õÆ®
2013-10   7585   ½ºÆÀÆѸ¶¸°
2022-05   1752   ±Ã±Ý¾²
2013-10   10263   ¹Ú¼º¸¸
01-18   1523   aifactory
2011-03   7357   °¡ºü·Î±¸³ª
2022-05   6257   SLALqHD
2011-03   9086   ¼³¿µ¼ö
2013-10   7736   º´¸ÀÆù
2018-07   3405   ±è°Ç¿ì
2015-03   4006   ±è°Ç¿ì
2018-07   4607   ±è°Ç¿ì