¸ÆºÏ llm ½Ç¼­ºñ½º Ãß·Ð ¼­¹ö ±¸Ãà °¡¼ººñ ¹®ÀÇ¿ä..

mvwiz   
   Á¶È¸ 1556   Ãßõ 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
allentl 04-07
¸ÆÀÌ ÁÁ±â´Â Çѵ¥... ½ÇÁ¦ ¼­ºñ½º¸¦ ±¼¸®½Ã·Á¸é ÇÑ´ë·Î´Â ¸¹ÀÌ ºÎÁ·ÇÕ´Ï´Ù. ¸Æ ½ºÆ©µð¿À 192±ÞÀ¸·Î Ŭ·¯½ºÅÍ ¼ÂÆÃÇÑ µÚ¿¡ mlx ÃÖÀûÈ­ ÈÄ ¾çÀÚÈ­ ÅëÇؼ­ ¿©·¯ ÀνºÅϽº ¼­ºù °¡´ÉÇÏ°Ô ÇÏ¼Å¾ß ÇØ¿ä.
     
mvwiz 04-07
´º½º ±â»ç ¿ä¾àÀ̶û ¹ø¿ª °°Àºµ¥ ¾²À̴µ¥ °£º¸´Ù°¡ ¿©·¯´ë ¼¼ÆÃÇÒ ¿¹Á¤ÀÌ¿¡¿©. ¸Æ ½ºÆ©µð¿À´Â m2 ¹Û¿¡ ¾ø¾î¼­ ¼º´É ¶³¾îÁö´õ¶ó±¸¿ä.

¾çÀÚÈ­ Ä÷¸®Æ¼ Â÷ÀÌ ¸¹ÀÌ ³ª³ª¿ä?
¹èÄ¡ÀÛ¾÷À¸·Î µ¥ÀÌÅÍ º¯È¯ µ¹¸®´Â°Å¶ó¼­ ÀνºÅϽº ´Ã·ÁºÃÀÚ Àüü ó¸® ¼ÓµµÂ÷ÀÌ´Â ºñ½ÁÇϱä ÇÏ´õ¶ó±¸¿ä. ´ÙÁß »ç¿ëÀÚ ´ë»ó ¼­ºñ½º¶ó±â º¸´Ù ¹èÄ¡ÀÛ¾÷ api ¼­¹ö
mvwiz 04-07
Áú¹® ¿Ã¸®´Â ÀÌÀ¯°¡ Á¦°¡ ºÃÀ»¶§ °¡¼ººñ ÃÖ°í ÀΰŠ°°Àºµ¥ ¾²´Âµ¥°¡ ¾ø´õ¶ó±¸¿ä. µû·Î ¾ÈÇÏ´Â ÀÌÀ¯°¡ ÀÖ¿ï±î Çؼ­¿ä.
¼úÀÌ 04-07
¸Æ¿¡ ´ëÇÑ È¯»óÀ» ¹ö¸®¼¼¿ä ÀÖ´Â ±×´ë·Î ½á¾ßµË´Ï´Ù.
extra 04-08
ÇнÀ¿ëÀÌ ¾Æ´Ï¶ó¸é °¡º­¿î LLM ¸ðµ¨ ±¸Çؼ­ ±×°É·Î ¼öÇàÇϼ¼¿ä.
¿¹¸¦ µé¸é gemma-2b ÀÇ °æ¿ì¿¡´Â ½Ç½Ã°£ ¼öÁØÀº »óȲ¿¡ µû¶ó ¾î·Æ±ä Çصµ CPU·Îµµ 20ÃÊ~30ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£À» º¸¿©ÁÖ±ä ÇÕ´Ï´Ù.
¿ªÀ¸·Î 20ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£ÀÌ ³Ê¹« ±æ¸é ÀÚüÀûÀ¸·Î ¸ðµ¨ °³·®ÇÏ½Ã´Â°Ô ÁÁÀ» µí ½Í½À´Ï´Ù.
¸ÆÀ¸·Î ½Ç ¼­ºñ½º¸¦ ¿î¿µÇÏ´Â °æ¿ì´Â ºñ¿ëÀû ¹®Á¦·Î Àß ÇÏÁö ¾Ê´Â ¼±ÅÃÁöÀÔ´Ï´Ù.
±×¸®°í ¸Æ cpu°¡ ¾îÂ¸é ¿µ»óÀ̳ª À̹ÌÁö 󸮿¡¼± Àü¿ë Çϵå¿þ¾î¸¦ Ãß°¡ÇÏ¿© °³¼±ÇÑ ºÎºÐÀÌ Å©´Ùº¸´Ï »ý°¢º¸´Ù Å« ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
´À¸®´Ù´Â °Ç ¾Æ´Ñµ¥ ±×·¸´Ù°í ÀÌ°Ô Å¸ Á¦Ç°´ëºñ ¾öû ºü¸£´Ù ¶ó´Â°Ô ¾ø¾î¼­¿ä.(´ÜÁö, arm °è¿­ Áß¿¡¼­ ºü¸£´Ù ÀÌ°í ÇÏÀÌ¿£µå CPU¿Í ºñ±³ ½Ã ¾ÆÁ÷Àº ºÎÁ·ÇÑ ¼º´ÉÀ» º¸¿©ÁÝ´Ï´Ù. ÀϺΠºü¸¥ °Ç Àü¿ë Çϵå¿þ¾î¸¦ ÅëÇÑ °¡¼Ó Áö¿øÀÔ´Ï´Ù.)
¾Æ´Ï¸é AMD ·Î ROCmÀ¸·Î Ã߷м­¹ö ±¸ÃàÇÏ´Â °Íµµ ÇϳªÀÇ ¹æ¹ýÀÌ Àֳ׿ä.
Âü°í·Î ¸»ÇÏÀÚ¸é ¿£ºñµð¾Æ << AMD <<< ¸ÆÀÔ´Ï´Ù.
¿£ºñµð¾Æ°¡ ÀϹÝÀûÀ¸·Î AMD¿¡ ºñÇØ 2~10¹è Á¤µµ ºü¸£´Ù ¶ó°í »ý°¢ÇÏ½Ã¸é µÅ°í, AMD GPU°¡ ¸Æº¸´Ù 10¹è Á¤µµ´Â ´õ ºü¸£´Ù¶ó°í º¸½Ã¸é µË´Ï´Ù.
NPU ¶ó°í Çؼ­ ´º·± ó¸® ºÎºÐÀº M1 ºÎÅÍ µé¾î°¡±ä Çߴµ¥ ±â´ë ÀÌ»óÀÇ ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
ÁøÂ¥ ¼ø¼öÇÏ°Ô VRAM À» ´ÜÀÏ ¸Ó½Å¿¡¼­ ÃÖ´ëÇÑ °ª ½Î°Ô ¿Ã¸®´Â°Ô ÀüºÎÀÔ´Ï´Ù.
¸ÆÀÌ AI ºÐ¾ß¿¡¼­ »ç¿ëµÇ´Â ¿¬»êÀ» Çϵå¿þ¾î ¼öÁØ¿¡¼­ Á÷Á¢ Áö¿øÇÏ´Â°Ô ¾Æ´Ï¶ó ÀϹÝÀûÀÎ CPU º¸´Ù ºü¸¦ »ÓÀÌÁö Ÿ GPU¿Í ºñ±³ÇÏ¸é ¾ÆÁ÷ ¸î¼¼´ë¸¦ ´õ ±â´Ù¸®¼Å¾ß ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 3664/5689
2015-12   1546605   ¹é¸Þ°¡
2014-05   5010940   Á¤ÀºÁØ1
2018-08   3231   ¶¥¶¥
2013-12   4745   ƼŰ
2015-04   17736   ±è¿µ±â
2021-01   3137   ¹Ý¼º¸¸
2013-12   4656   ¶Ñ¶Ñ±è´ë¿ø
04-07   1557   mvwiz
2019-10   3766   Á¦¶óµåTN
2011-07   8214   Â÷Æò¼®
2017-05   3880   »Ú»ß
2018-09   3170   ÀÌÁöÆ÷Åä
2019-11   3419   À嵿°Ç2014
2017-05   4677   ±èÁ¦¿¬
2016-06   13312   Àå·áÀÇÈû
2011-08   6685   Larry
2015-05   10774   ¿À¿À¿Í´Ù³ª³ª
04-23   1715   ¶¥ÀïÀÌ
2011-08   9359   Â÷Æò¼®
2019-11   2566   °Ü¿ï³ª¹«
04-29   2399   À»½ÅÃà
05-03   1521   ±èÁØÀ¯