¸ÆºÏ llm ½Ç¼­ºñ½º Ãß·Ð ¼­¹ö ±¸Ãà °¡¼ººñ ¹®ÀÇ¿ä..

mvwiz   
   Á¶È¸ 1376   Ãßõ 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
allentl 04-07
¸ÆÀÌ ÁÁ±â´Â Çѵ¥... ½ÇÁ¦ ¼­ºñ½º¸¦ ±¼¸®½Ã·Á¸é ÇÑ´ë·Î´Â ¸¹ÀÌ ºÎÁ·ÇÕ´Ï´Ù. ¸Æ ½ºÆ©µð¿À 192±ÞÀ¸·Î Ŭ·¯½ºÅÍ ¼ÂÆÃÇÑ µÚ¿¡ mlx ÃÖÀûÈ­ ÈÄ ¾çÀÚÈ­ ÅëÇؼ­ ¿©·¯ ÀνºÅϽº ¼­ºù °¡´ÉÇÏ°Ô ÇÏ¼Å¾ß ÇØ¿ä.
     
mvwiz 04-07
´º½º ±â»ç ¿ä¾àÀ̶û ¹ø¿ª °°Àºµ¥ ¾²À̴µ¥ °£º¸´Ù°¡ ¿©·¯´ë ¼¼ÆÃÇÒ ¿¹Á¤ÀÌ¿¡¿©. ¸Æ ½ºÆ©µð¿À´Â m2 ¹Û¿¡ ¾ø¾î¼­ ¼º´É ¶³¾îÁö´õ¶ó±¸¿ä.

¾çÀÚÈ­ Ä÷¸®Æ¼ Â÷ÀÌ ¸¹ÀÌ ³ª³ª¿ä?
¹èÄ¡ÀÛ¾÷À¸·Î µ¥ÀÌÅÍ º¯È¯ µ¹¸®´Â°Å¶ó¼­ ÀνºÅϽº ´Ã·ÁºÃÀÚ Àüü ó¸® ¼ÓµµÂ÷ÀÌ´Â ºñ½ÁÇϱä ÇÏ´õ¶ó±¸¿ä. ´ÙÁß »ç¿ëÀÚ ´ë»ó ¼­ºñ½º¶ó±â º¸´Ù ¹èÄ¡ÀÛ¾÷ api ¼­¹ö
mvwiz 04-07
Áú¹® ¿Ã¸®´Â ÀÌÀ¯°¡ Á¦°¡ ºÃÀ»¶§ °¡¼ººñ ÃÖ°í ÀΰŠ°°Àºµ¥ ¾²´Âµ¥°¡ ¾ø´õ¶ó±¸¿ä. µû·Î ¾ÈÇÏ´Â ÀÌÀ¯°¡ ÀÖ¿ï±î Çؼ­¿ä.
¼úÀÌ 04-07
¸Æ¿¡ ´ëÇÑ È¯»óÀ» ¹ö¸®¼¼¿ä ÀÖ´Â ±×´ë·Î ½á¾ßµË´Ï´Ù.
extra 04-08
ÇнÀ¿ëÀÌ ¾Æ´Ï¶ó¸é °¡º­¿î LLM ¸ðµ¨ ±¸Çؼ­ ±×°É·Î ¼öÇàÇϼ¼¿ä.
¿¹¸¦ µé¸é gemma-2b ÀÇ °æ¿ì¿¡´Â ½Ç½Ã°£ ¼öÁØÀº »óȲ¿¡ µû¶ó ¾î·Æ±ä Çصµ CPU·Îµµ 20ÃÊ~30ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£À» º¸¿©ÁÖ±ä ÇÕ´Ï´Ù.
¿ªÀ¸·Î 20ÃÊ ³»ÀÇ ÀÀ´ä½Ã°£ÀÌ ³Ê¹« ±æ¸é ÀÚüÀûÀ¸·Î ¸ðµ¨ °³·®ÇÏ½Ã´Â°Ô ÁÁÀ» µí ½Í½À´Ï´Ù.
¸ÆÀ¸·Î ½Ç ¼­ºñ½º¸¦ ¿î¿µÇÏ´Â °æ¿ì´Â ºñ¿ëÀû ¹®Á¦·Î Àß ÇÏÁö ¾Ê´Â ¼±ÅÃÁöÀÔ´Ï´Ù.
±×¸®°í ¸Æ cpu°¡ ¾îÂ¸é ¿µ»óÀ̳ª À̹ÌÁö 󸮿¡¼± Àü¿ë Çϵå¿þ¾î¸¦ Ãß°¡ÇÏ¿© °³¼±ÇÑ ºÎºÐÀÌ Å©´Ùº¸´Ï »ý°¢º¸´Ù Å« ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
´À¸®´Ù´Â °Ç ¾Æ´Ñµ¥ ±×·¸´Ù°í ÀÌ°Ô Å¸ Á¦Ç°´ëºñ ¾öû ºü¸£´Ù ¶ó´Â°Ô ¾ø¾î¼­¿ä.(´ÜÁö, arm °è¿­ Áß¿¡¼­ ºü¸£´Ù ÀÌ°í ÇÏÀÌ¿£µå CPU¿Í ºñ±³ ½Ã ¾ÆÁ÷Àº ºÎÁ·ÇÑ ¼º´ÉÀ» º¸¿©ÁÝ´Ï´Ù. ÀϺΠºü¸¥ °Ç Àü¿ë Çϵå¿þ¾î¸¦ ÅëÇÑ °¡¼Ó Áö¿øÀÔ´Ï´Ù.)
¾Æ´Ï¸é AMD ·Î ROCmÀ¸·Î Ã߷м­¹ö ±¸ÃàÇÏ´Â °Íµµ ÇϳªÀÇ ¹æ¹ýÀÌ Àֳ׿ä.
Âü°í·Î ¸»ÇÏÀÚ¸é ¿£ºñµð¾Æ << AMD <<< ¸ÆÀÔ´Ï´Ù.
¿£ºñµð¾Æ°¡ ÀϹÝÀûÀ¸·Î AMD¿¡ ºñÇØ 2~10¹è Á¤µµ ºü¸£´Ù ¶ó°í »ý°¢ÇÏ½Ã¸é µÅ°í, AMD GPU°¡ ¸Æº¸´Ù 10¹è Á¤µµ´Â ´õ ºü¸£´Ù¶ó°í º¸½Ã¸é µË´Ï´Ù.
NPU ¶ó°í Çؼ­ ´º·± ó¸® ºÎºÐÀº M1 ºÎÅÍ µé¾î°¡±ä Çߴµ¥ ±â´ë ÀÌ»óÀÇ ¼º´ÉÀ» º¸¿©ÁÖ±ä Èûµì´Ï´Ù.
ÁøÂ¥ ¼ø¼öÇÏ°Ô VRAM À» ´ÜÀÏ ¸Ó½Å¿¡¼­ ÃÖ´ëÇÑ °ª ½Î°Ô ¿Ã¸®´Â°Ô ÀüºÎÀÔ´Ï´Ù.
¸ÆÀÌ AI ºÐ¾ß¿¡¼­ »ç¿ëµÇ´Â ¿¬»êÀ» Çϵå¿þ¾î ¼öÁØ¿¡¼­ Á÷Á¢ Áö¿øÇÏ´Â°Ô ¾Æ´Ï¶ó ÀϹÝÀûÀÎ CPU º¸´Ù ºü¸¦ »ÓÀÌÁö Ÿ GPU¿Í ºñ±³ÇÏ¸é ¾ÆÁ÷ ¸î¼¼´ë¸¦ ´õ ±â´Ù¸®¼Å¾ß ÇÕ´Ï´Ù.


QnA
Á¦¸ñPage 3/82
09-29   711   Åë½Å¹öÇÊ
09-26   268   ½£Çü
09-26   615   onuappa
09-26   239   ¾îµå¹ÎÇ÷¹ÀÌ
09-26   401   ¾Æ¸¶µ¥¿ì¾²
09-25   663   °æ¹ÚÇѽùÎ
09-24   458   °ËÀºÄá
09-22   672   Æ潺¸®
09-22   706   ÆĶõ½º¸ÓÇÁ
09-22   476   ÇÚÁî
09-21   378   ¿¥ºê¸®¿À
09-21   495   ¯´Ô
09-21   433   LosAngeles
09-21   376   Ç×°ø¸ðÇÔ
09-20   422   IÀû¿ì
09-19   412   ±èÄ¡·¹ÀÎÀú
09-19   601   NiteFlite9
09-19   420   lvn1
09-19   423   ¸ÓÀç±ä
09-18   479   »ê°ñ³óºÎ