¸ÆºÏ llm ½Ç¼­ºñ½º Ãß·Ð ¼­¹ö ±¸Ãà °¡¼ººñ ¹®ÀÇ¿ä..

mvwiz   
   Á¶È¸ 1474   Ãßõ 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
allentl 04-07
¸ÆÀÌ ÁÁ±â´Â Çѵ¥... ½ÇÁ¦ ¼­ºñ½º¸¦ ±¼¸®½Ã·Á¸é ÇÑ´ë·Î´Â ¸¹ÀÌ ºÎÁ·ÇÕ´Ï´Ù. ¸Æ ½ºÆ©µð¿À 192±ÞÀ¸·Î Ŭ·¯½ºÅÍ ¼ÂÆÃÇÑ µÚ¿¡ mlx ÃÖÀûÈ­ ÈÄ ¾çÀÚÈ­ ÅëÇؼ­ ¿©·¯ ÀνºÅϽº ¼­ºù °¡´ÉÇÏ°Ô ÇÏ¼Å¾ß ÇØ¿ä.
     
mvwiz 04-07
´º½º ±â»ç ¿ä¾àÀ̶û ¹ø¿ª °°Àºµ¥ ¾²À̴µ¥ °£º¸´Ù°¡ ¿©·¯´ë ¼¼ÆÃÇÒ ¿¹Á¤ÀÌ¿¡¿©. ¸Æ ½ºÆ©µð¿À´Â m2 ¹Û¿¡ ¾ø¾î¼­ ¼º´É ¶³¾îÁö´õ¶ó±¸¿ä.

¾çÀÚÈ­ Ä÷¸®Æ¼ Â÷ÀÌ ¸¹ÀÌ ³ª³ª¿ä?
¹èÄ¡ÀÛ¾÷À¸·Î µ¥ÀÌÅÍ º¯È¯ µ¹¸®´Â°Å¶ó¼­ ÀνºÅϽº ´Ã·ÁºÃÀÚ Àüü ó¸® ¼ÓµµÂ÷ÀÌ´Â ºñ½ÁÇϱä ÇÏ´õ¶ó±¸¿ä. ´ÙÁß »ç¿ëÀÚ ´ë»ó ¼­ºñ½º¶ó±â º¸´Ù ¹èÄ¡ÀÛ¾÷ api ¼­¹ö
mvwiz 04-07
Áú¹® ¿Ã¸®´Â ÀÌÀ¯°¡ Á¦°¡ ºÃÀ»¶§ °¡¼ººñ ÃÖ°í ÀΰŠ°°Àºµ¥ ¾²´Âµ¥°¡ ¾ø´õ¶ó±¸¿ä. µû·Î ¾ÈÇÏ´Â ÀÌÀ¯°¡ ÀÖ¿ï±î Çؼ­¿ä.
¼úÀÌ 04-07
¸Æ¿¡ ´ëÇÑ È¯»óÀ» ¹ö¸®¼¼¿ä ÀÖ´Â ±×´ë·Î ½á¾ßµË´Ï´Ù.
extra 04-08
ÇнÀ¿ëÀÌ ¾Æ´Ï¶ó¸é °¡º­¿î LLM ¸ðµ¨ ±¸Çؼ­ ±×°É·Î ¼öÇàÇϼ¼¿ä.
¿¹¸¦ µé¸é gemma-2b ÀÇ °æ¿ì¿¡´Â ½Ç½Ã°£ ¼öÁØÀº »óȲ¿¡ µû¶ó ¾î·Æ±ä Çصµ CPU·Îµµ 20ÃÊ~30ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£À» º¸¿©ÁÖ±ä ÇÕ´Ï´Ù.
¿ªÀ¸·Î 20ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£ÀÌ ³Ê¹« ±æ¸é ÀÚüÀûÀ¸·Î ¸ðµ¨ °³·®ÇÏ½Ã´Â°Ô ÁÁÀ» µí ½Í½À´Ï´Ù.
¸ÆÀ¸·Î ½Ç ¼­ºñ½º¸¦ ¿î¿µÇÏ´Â °æ¿ì´Â ºñ¿ëÀû ¹®Á¦·Î Àß ÇÏÁö ¾Ê´Â ¼±ÅÃÁöÀÔ´Ï´Ù.
±×¸®°í ¸Æ cpu°¡ ¾îÂ¸é ¿µ»óÀ̳ª À̹ÌÁö 󸮿¡¼± Àü¿ë Çϵå¿þ¾î¸¦ Ãß°¡ÇÏ¿© °³¼±ÇÑ ºÎºÐÀÌ Å©´Ùº¸´Ï »ý°¢º¸´Ù Å« ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
´À¸®´Ù´Â °Ç ¾Æ´Ñµ¥ ±×·¸´Ù°í ÀÌ°Ô Å¸ Á¦Ç°´ëºñ ¾öû ºü¸£´Ù ¶ó´Â°Ô ¾ø¾î¼­¿ä.(´ÜÁö, arm °è¿­ Áß¿¡¼­ ºü¸£´Ù ÀÌ°í ÇÏÀÌ¿£µå CPU¿Í ºñ±³ ½Ã ¾ÆÁ÷Àº ºÎÁ·ÇÑ ¼º´ÉÀ» º¸¿©ÁÝ´Ï´Ù. ÀϺΠºü¸¥ °Ç Àü¿ë Çϵå¿þ¾î¸¦ ÅëÇÑ °¡¼Ó Áö¿øÀÔ´Ï´Ù.)
¾Æ´Ï¸é AMD ·Î ROCmÀ¸·Î Ã߷м­¹ö ±¸ÃàÇÏ´Â °Íµµ ÇϳªÀÇ ¹æ¹ýÀÌ Àֳ׿ä.
Âü°í·Î ¸»ÇÏÀÚ¸é ¿£ºñµð¾Æ << AMD <<< ¸ÆÀÔ´Ï´Ù.
¿£ºñµð¾Æ°¡ ÀϹÝÀûÀ¸·Î AMD¿¡ ºñÇØ 2~10¹è Á¤µµ ºü¸£´Ù ¶ó°í »ý°¢ÇÏ½Ã¸é µÅ°í, AMD GPU°¡ ¸Æº¸´Ù 10¹è Á¤µµ´Â ´õ ºü¸£´Ù¶ó°í º¸½Ã¸é µË´Ï´Ù.
NPU ¶ó°í Çؼ­ ´º·± ó¸® ºÎºÐÀº M1 ºÎÅÍ µé¾î°¡±ä Çߴµ¥ ±â´ë ÀÌ»óÀÇ ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
ÁøÂ¥ ¼ø¼öÇÏ°Ô VRAM À» ´ÜÀÏ ¸Ó½Å¿¡¼­ ÃÖ´ëÇÑ °ª ½Î°Ô ¿Ã¸®´Â°Ô ÀüºÎÀÔ´Ï´Ù.
¸ÆÀÌ AI ºÐ¾ß¿¡¼­ »ç¿ëµÇ´Â ¿¬»êÀ» Çϵå¿þ¾î ¼öÁØ¿¡¼­ Á÷Á¢ Áö¿øÇÏ´Â°Ô ¾Æ´Ï¶ó ÀϹÝÀûÀÎ CPU º¸´Ù ºü¸¦ »ÓÀÌÁö Ÿ GPU¿Í ºñ±³ÇÏ¸é ¾ÆÁ÷ ¸î¼¼´ë¸¦ ´õ ±â´Ù¸®¼Å¾ß ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 107/5686
2015-12   1506756   ¹é¸Þ°¡
2014-05   4970442   Á¤ÀºÁØ1
2004-02   8846   ³ª°­¹®
2005-04   6448   ¿ø³«¿¬
2003-02   12096   ¹Ú¿µ·Ï
2003-08   8934   ¹Ú±âÇ¥
2005-03   5971   Á¤ÈûÂù
2004-04   8303   ±è¼¼¿Ï
2003-11   10292   ¹®Ãß±â
2003-07   10656   Á¶¹Î¿ì
2003-08   11433   ¢Ë±èµ¿¿í(k)
2002-12   10714   À¯¼º¸ð
2003-04   10540   ÀÌ°æȯ
2003-11   10110   ¹Ú°æÈ£
2002-08   14082   À̹ÎÇÏ
2003-03   12085   ½ÅÁø¿ì
2003-04   11901   Á¶¼º½Å
2003-06   9645   Á¶¸íÁø
2004-03   7918   À̽ÂÇö
2006-03   5281   ¹Úº´¼±
2003-02   11651   ÀÌ°ü¿õ
2002-08   13942   ¹Ú¹®Çü