·¥ µð½ºÅ©¸¦ 100 ±â°¡ ÀÌ»ó »ç¿ëÇϽô ºÐÀÌ °è½Ç±î¿ä?

   Á¶È¸ 5712   Ãßõ 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 


(우선 취미용임을 밝힙니다)


최근에 딥러닝에 매우 큰 관심을 갖게 되었고, 특히 sentence similarity 비교에 관심이 생겼습니다.


하여... faiss 를 통해 대략 1.5만개의 문서들을 불러들여와 embedding 파일들을 120기가 정도를 만들었는데 속도에 매우 불만입니다. (980 pro 위에 저장되어 있습니다)


원래는 milvus라는 local vector database 로 이 embeddings들을 다룰라했는데 제 3990x가 avx512를 지원을 안 하는 것도 있고(그래서인지 create_index 기능이 작동하지 않는 것 같습니다) milvus가 docker 중심으로 돌아가는 판국이라 마음에 안 들었습니다. 우분투 standalone도 써먹기 별로고... (제가 못 다루는 것도 있지만.. 3990x 워크스테이션에는 윈도우가 깔려있습니다)


따라서 차선책으로 faiss를 통해 embeddings 파일들을 생성해 나중에 쿼리를 입력했을 때 불러오자! 라는 식으로 진행했는데


불러오는데 수십초 걸리네요.


.....


그래서 어찌어찌 상상의 흐름이 램디스크쪽으로 흘러가게 됐는데


이런 식으로 100기가 정도씩을 램 디스크로 사용하시는 분들의 사용례를 들어보고 싶습니다.


찾아보니 2cpu에서는 primocache가 대세인 것 같은데, 설정 등을 어떻게들 하시는지 자세하게 예기해주시면


정말정말 감사할 것 같습니다 ^^

ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
°ËÀºÄá 2023-05
°Ô½ÃÆÇÀ» À߸ø¿Ã·Á(ÀÚÀ¯°Ô½ÃÆÇ) »èÁ¦ ÈÄ Àç¾÷·ÎµåÇÏ¿´½À´Ï´Ù.
SSDÈ°¼ºÈ­ ÈÄ¿¡µµ ·¥µð½ºÅ© ¾²½Ã´ÂºÐÀÌ ÀÖÀ»±î ½ÍÀºµ¥¿ä?
¸¹ÀÌ ¾²´Ù, ¿äÁòÀº ÀØ°í »ç³×¿ä
     
°ËÀºÄá 2023-05
±×·±°¡¿ä. ¿ª½Ã ÃֽŠ±â¼úÀ» ½á¾ß Çϳª º¾´Ï´Ù ¤Ð..
µö·¯´×µµ À߸𸣰í, ·¥µð½ºÅ©µµ »ç¿ëÇÏÁö¾ÊÁö¸¸,
sentence similarity´Â ¹®ÀÚÀ¯»ç¼ºÀ» ã´Â AI ±â´ÉÀÌ°í,
120±â°¡¿¡ 1.5¸¸°³¸é, 1°³ ÆÄÀÏ´ç ¾à 8MB Á¤µµ¶ó´Â °¡Á¤ÇÏ¿¡¼­´Â
milvus¶ó´Â local vector databaseÀÇ index ¸¦ »ç¿ëÇÏ½Ã´Â°Ô ÁÁÀ»°Å °°³×¿ä
ÀÌ·±·ù´Â index ¾øÀÌ ssdº¸´Ù ºü¸¥ ·¥µð½ºÅ©¶ó°í Çصµ, À妽º¾øÀÌ ÅëÂ¥·Î 120±â°¡ Àüü¸¦ Àд´ٸé, ¾Æ¸¶µµ ¸¸Á·ÇÒ¸¸ÇÑ ¼º´ÉÀ» ¾È³ª¿Ã°ÍÀ¸·Î º¸¿©Áö³×¿ä
¹°·Ð, ssdº¸´Ù´Â ·¥µð½ºÅ©°¡ Á»´õ ¼º´ÉÀÌ ³ª¿À±äÇÏ°ÚÁö¸¸, index¸¦ »ç¿ëÇؼ­, ÇÊ¿äÇÑ µ¥ÀÌÅ͸¸ Àд°Ͱú ºñ±³ÇÏ¸é ¼º´ÉÂ÷ÀÌ´Â ¸¹À̳¯µíÇϳ׿ä
     
°ËÀºÄá 2023-05
Èå¾Æ.. »ç½Ç Àúµµ milvus ¸¦ ¾²°í ½Í±â´Â Çѵ¥, »õ·Î¿î ÄÄÇ»Å͸¦ µé¿©¾ß ÇÏ´Â ÀÛ¾÷(avx 512°¡ Áö¿øµÇ´Â ÀÎÅÚ Á¦Ç°.....)À» ÇؾßÇؼ­
°íÇàÀÌ ¿¹»óµÇ´ÂÁö¶ó ÃÖÈÄ·Î ¹Ì·ç°í ½Í¾ú½À´Ï´Ù.
ÀÏ´ÜÀº... Àú»ç¾ç ÀÎÅÚ Á¦Ç°ÀÌ¶óµµ µé¿©¼­ docker ·Î µ¹·Áº¸´ø°¡ Çؾ߰ڽÀ´Ï´Ù ¤Ð.¤Ð
dateno1 2023-05
100±â°¡ ÀÌ»ó ¸¸µé¾îº»ÀûÀº ÀÖÁö¸¸, ¾Æ½±°Ôµµ ±×·± »çÀÌÁî °è¼Ó ¾µ ¼ö ÀÖÀ»¸¸Å­ ·¥ÀÌ Å« ½Ã½ºÅÛÀº ÇöÁ¦ ¾È °¡Áö°í ÀÖ½À´Ï´Ù

·¥µð½ºÅ© ¼º´É NVMeº¸´Ù ¾öû³ª°Ô ÀÀ´äÀÌ ºü¸£±äÇصµ ±×·±°Ô ÇÊ¿äÇÑ°Ô ¾Æ´Ï¶ó¸é ¼Óµµ´Â ¿ÉÅ×ÀÎÀ¸·Îµµ ÃæºÐÇغ¸ÀÔ´Ï´Ù

±×¸®°í À§¿¡µµ ÀûÇôÀÖµíÀÌ ¾Æ¹«¸® ·¥µð½ºÅ©·Î °¡´õ¶óµµ À妽º Àִ°͸¸Å­ ºü¸£Áø ¾ÊÀ»²¨¿¡¿ä
     
°ËÀºÄá 2023-05
±×·¸±º¿ä..... ÀÏ´Ü °í¹Î Á» Çغ¸°í ÀÎÅÚ Á¦Ç°À» µéÀÌ´ø°¡ Çؾ߰ڽÀ´Ï´Ù. 3990x¸é avx512Á¤µ· Áö¿øÇØÁÙ ÁÙ ¾Ë¾Ò´Âµ¥ 5995wx µµ Áö¿ø ¾È Çϳ׿ä; Á¨4ºÎÅͳª Áö¿øÇÏ´Â °Ô Âü....¤Ð¤Ð
          
dateno1 2023-05
Á¦¿Â ¾È °¥ ²¨¶ó¸é Rocket/Tiger·Î °¡½Ã°Å³ª AlderÀÇ ¹ÙÀÌ¿À½º ¼öÁ¤Çؼ­ (½ÃÇ»µµ ¸ÂÃß¾î¾ß ÇÔ) Á¦ÇÑ Ç®¾î¾ß ÇÕ´Ï´Ù

¾Æ´Ï¸é Á¨4 °¡¼Å¾ß°ÚÁÒ
¹Ú¹®Çü 2023-05
AMD¿Í INTEL Àº ½ºÆÑÀ̳ª °¢ ¼¼´ë Ư¡À» Àß È®ÀÎÇغ¸¸é Àå´ÜÁ¡µéÀÌ ÀÖ½À´Ï´Ù..

À̹ø 4¼¼´ë Á¦¿Â ½ºÄÉÀÏ·¯ºí°ú EPYC ¿¡¼­´Â EPYC´Â ±ø¼º´ÉÀº È®½ÇÈ÷ ÀÎÅÚÀ» ¾Õ¼­Áö¸¸ ½ºÅ丮Áö³ª ¼ÒÇÁÆ®¿þ¾î ±â´ÉÀº ÀÎÅÚº¸´Ù Àû´Ù¶ó°íµµ ÇÒ ¼ö ÀÖ½À´Ï´Ù..

(±× Àü ¼¼´ëµéµµ °ÅÀÇ ±×·¯ ÇØ¿Ô¾ú½À´Ï´Ù..)

À̹ø ÀÎÅÚ 4¼¼´ë¿¡¼­ º¸¿©ÁÙ ´ÙÀ½ ¼¼´ëÀÇ NVME VROC ±â´É°ú ¼ÒÇÁÆ®¿þ¾î ¶óÀ̼¾½º ±â´ÉÀÌ ±â´ë°¡ µË´Ï´Ù..

¹®Á¦´Â ±×·± ±â´ÉÀ» Àç´ë·Î ±¸ÇöÇÏ·Á¸é Á¶¸³ ½Ã½ºÅÛÀ¸·Î´Â ¾ÈµÇ°í (ÄÉÀ̺íÀÌ °ÅÀÇ Àü¿ë±Þ) ÃÖ¼Ò º£¾îº» ½Ã½ºÅÛÀ¸·Î °¡¾ß ÇÑ´Ù´Â Á¡ÀÔ´Ï´Ù..

°£Àå°ÔÀå´ÔÀÌ RAID °Ô½ÃÆÇ¿¡ ¿Ã¸®½Å ´ñ±Û Áß ÀϺκÐÀÔ´Ï´Ù..

Intel¢ç Server System M50FCP2UR TPS
https://cdrdv2-public.intel.com/710132/Intel_Server_System_M50FCP2UR_TPS_Rev1_1.pdf

Àú ¸µÅ© ¿­¸é ¸Þ´º¾óÀÌ ³ª¿À´Âµ¥ 76 ÆäÀÌÁö º¸½Ã¸é ½ºÅ丮Áö ±â¼ú¿¡ ´ëÇØ ³ª¿Í ÀÖ½À´Ï´Ù..

³ª¿À°í³ª¼­ Á» ½Ã°£ÀÌ Èê·¯¾ß ¾µ¸¸ÇÑÁö ¾Ë ¼ö ÀÖ°ÚÁÒ..


±Ùµ¥ AMD EPYC 4¼¼´ë Á¦Ç°¿¡¼­´Â ¸îÁ¦Ç° ¸Þ´º¾óÀ» º¸¾Æµµ ¾ÆÁ÷ ½ºÅ丮Áö °ü·Ã ±â¼ú¿¡ ´ëÇؼ­´Â Ưº°È÷ ¹ßÀüµÈ °ÍÀÌ ¾ø¾î º¸ÀÌ°í ¿¾³¯°ú °°ÀÌ

NVME´Â °¢ µå¶óÀ̺êµé°ú´Â ¿¬°áÀº µÇÁö¸¸  RAID Æã¼Ç °°Àº°Ô ¾ø´Â µíÇÕ´Ï´Ù.. (OS¿¡¼­ ¼ÒÇÁÆ®¿þ¾î ·¹À̵å·Î ¹­´øÁö Çؾ߰ÚÁÒ..)
     
dateno1 2023-05
ÄÁ½´¸Ó ¶óÀξ÷µµ ÀÖ´Â ¿Âº¸µå ·¹À̵尡 ¾ø³ª¿ä?

¹º°¡ Ưº°ÇÑ °¡¼Ó ±â´ÉÀÌ ÀÖ´Â°Ç ¾Æ´ÏÁö¸¸ '´Ü¼øÈ÷ ±â´ÉÀ» Á¦°øÇÑ´Ù' ¼öÁØÀº ÀÖÀ»²¨¶ó »ý°¢ÇÕ´Ï´Ù

°¡¼Ó ±â´É Áö¿ø ¹®Á¦µµ ÀÖ°í, RAID °ü°è¾øÀÌ ¼º´ÉÀÌ Á¶±Ý ¶³¾îÁö´Â ¹®Á¦µµ ÀÖ½À´Ï´Ù (µÑ ´Ù ½ÅÇü ÇÏÀÌ¿£µå·Î ±¸¼ºÈÄ µ¿ÀÏÇÑ Á¦Ç°ÀÇ µð½ºÅ© ´Þ¾Æ¼­ º¥Ä¡ µ¹·Áµµ Á» Â÷ÀÌ°¡ ³ª´õ±º¿ä)

°³ÀÎÀûÀ¸·Î´Â ½ÃÇ»ÀÇ ¶óÀ̼¾½º ¶ô ±â´ÉÀº ¶Ç À×ÅÚÀÌ ÀÌ»óÇÑ°Å °£º¸´Â°Í°°¾Æ¼­ ÁÁ¾ÆÇÏÁø ¾Ê½À´Ï´Ù (¼­¹ö ½ÃÀå¿¡¼­ °¡¼Ó ±â´ÉÀ¸·Î Àú·¯´Â°Ç ³Ñ°Üµµ, Àú·¯´Ù°¡ ¹ÝÀÀÀÌ ±¦ÂúÀ¸¸é °¢Á¾ Á¦Ç°ÀÇ ´Ù¾çÇÑ ±â´É¿¡ ´Ù Àû¿ë (¿¹¸¦ µé¾î L4 Cache ¾µ·Á¸é ¶óÀ̼¾½º ÇÊ¿ä, AVX512 ¾µ·Á¸é ¶óÀ̼¾½º ÇÊ¿äµî)ÇÒ²¨°°¾Æ¼­ ºÒ¾ÈÇÕ´Ï´Ù)
          
¹Ú¹®Çü 2023-05
https://www.tyan.com/Barebones_GC68AB8056_B8056G68AE12HR-2T

ÀÌ Á¦Ç° (AMD EPYC 4¼¼´ë) È®ÀÎÇߴµ¥ ¸Þ´º¾óÀ̳ª ½ºÆÑ¿¡ RAID ¶ó´Â¿ë¾î ÀÚü°¡ °Ë»öÀÌ ¾ÈµË´Ï´Ù..

U.2 Nvme ¿©·¯°³ ²Å°í ¹­¾î »ç¿ëÇÏ·Á¸é OS ¼³Ä¡½Ã OS¿¡¼­ Á¦°øÇÏ´Â ¼ÒÇÁÆ®¿þ¾î ·¹ÀÌµå ¹Û¿¡ ¹æ¹ýÀÌ ¾ø¾î º¸ÀÔ´Ï´Ù..

AMD EPYC ½Ã½ºÅÛÀº ¼¼´ë °ü°è¾øÀÌ °ÅÀÇ µ¿ÀÏÇÑ µíÇϸç Çϵå¿þ¾î ·¹À̵尡 ÇÊ¿äÇÏ¸é ·¹À̵å Ä«µå¸¦ ²Å¾Æ ¾²¶ó°í ÇÒ µíÇÕ´Ï´Ù..
               
dateno1 2023-05
±â´ÉÀÌ Á¦°ø ¾È µÇ³ªº¸³×¿ä (Á¦°øµÇ¾îµµ ¼­¹ö¿ëÀ¸·Î ¾µ ¼öÁØ ¾È µÊ)

±×³ª¸¶ 128 Lane°°Àº dzºÎÇÑ È®À强À» Á¦°øÇÏ´Ï ´ÙÇàÀ̳׿ä
±è°æö 2023-05
x299º¸µå¿¡ 10900x ²È°í ¸Þ¸ð¸® 32G 8°³ ²È¾Æ¼­ 256G¸¸µé¾î¼­ ÀÌ°ÍÀú°Í ÇÏ°í ÀÖ½À´Ï´Ù.
imdisk·Î 200G ·¥µð½ºÅ©·Î Àâ°í, °Å±â´Ù stable diffusion µð·ºÅ丮 Åë°·Î Ä«ÇÇÇؼ­ ³ÖÀ¸´Ï, ¹º°¡ Á» »¡¶ó±ä°Í °°±â´Â ÇÕ´Ï´Ù.
     
dateno1 2023-05
±×°Ç ±âºÐÅ¿Àϲ®´Ï´Ù

±âº» VRAM¿¡¼­ µ¹¾Æ°¡´Â°Å°í, µð½ºÅ© °ÅÀÇ ¾²Áöµµ ¾Ê´Â ¼ÒÇÁÆ®ÀÎÁö¶ó µð½ºÅ© »¡¶óÁ®µµ º¸ÅÛÀÌ ¾È µÇ¿ä
¼úÀÌ 2023-05
ÇÁ¸®¸ðij½¬ 200G ¿Ã·Á¼­ ½áº¸¸é Çѹø ºÒ·¯µé¿´´ø µ¥ÀÌÅÍ´Â ·¥¿¡ ij½¬·Î »óÁÖÇؼ­ ±×´ÙÀ½Àº ¸Þ¸ð¸®´Ü¿¡¼­ ÀüºÎ ó¸®ÇϰԵ˴ϴÙ.

À妽ºÀÇ Àü·«Àº RDBMS¿Í ºÐ¼®¿ë µ¥ÀÌÅÍ´Â ¹æ½ÄÀÌ ´Ù¸¨´Ï´Ù. µö·¯´× ÂÊÀ̶ó¸é ºÐ¼®¿ëÀ¸·Î ºÁ¾ßµÇ°í ±×·±°Ç ´ëºÎºÐ Ä÷³½ºÅä¾î À妽º ±¸Á¶·Î »ç¿ëÇÕ´Ï´Ù.
À§¿Í°°Àº ¿ëµµ´Â ´ëºÎºÐ Àθ޸𸮠Å×À̺íÀ̳ª Àθ޸ð¸®DB ±â´ÉÀ» ÀÌ¿ëÇϱ⵵ ÇÕ´Ï´Ù.(ÀÌ·±°Ç ´ÜÁ¡ÀÌ µ¥ÀÌÅÍ º¯ÇÔÀÌ ¾ø´Â °íÁ¤µÈ µ¥ÀÌÅͶó¾ß °¡´ÉÇÑ ±¸Á¶°í)
¸¹Àº µ¥ÀÌÅ͸¦ ºÐ¼®ÇÏ´Â °æ¿ì´Â ´ëºÎºÐ ¸Þ¸ð¸® ´ÜÀ̳ª ij½¬´Ü¿¡ ¹èÄ¡½ÃÄѼ­ µ¹¸®°ï ÇØ¿ä. °°Àº µ¥ÀÌÅÍ ¸Ç³¯ ÀúÀå¼ÒÂÊ¿¡¼­ ºÒ·¯µéÀÌ°í ÇÏ´Â°Ô ¾µµ¥¾ø´Â º´¸ñÇö»óÀ̱⠶§¹®ÀÔ´Ï´Ù.
NVME¿¡ ¿Ã¶ó°£°Í º¸´Ù ¸Þ¸ð¸®¿¡ »óÁÖÇØ ÀÖ´Ù°¡ ºÒ·¯¿À¸é ¸î¹è´Â ´õ ºü¸£±ä ÇÒ°Ì´Ï´Ù. ÀÛÀº »çÀÌÁî ÆÄÀϵéÀº ¸¹ÀÌ ºü¸£ÁÒ.

µ¥½ºÅ©Å¾ÀÌ 128G Àΰæ¿ì´Â 70-80GÁ¤µµ ij½¬·Î Àâ°í ¾²°í ÀÖ°í ¼­¹ö°¡ 256G Á¤µµÀÎ °æ¿ì´Â 200G Á¤µµ RAID ½ºÅ丮Áö¿¡ Àбâij½¬¿ëµµ·Î ¹èÄ¡½ÃÄѼ­ »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù. ¼Óµµ´Â ³Ñ»çº®À¸·Î ºü¸£±â´Â ÇҰǵ¥ ±×·¡µµ Å×½ºÆ®´Â ÇغÁ¾ß µË´Ï´Ù.
·¥µð½ºÅ©¸¦ ¾²¸é À©µµ¿ì°¡ ºü¸´ºü¸´ ÇÏ°í ÁÁ½À´Ï´Ù¸¸.

ÀϺΠÇÁ·Î±×·¥µé¿¡ ºÒÇùÈ­À½À¸·Î ..
½Ã½ºÅÛÀÇ °¡²û Æ®·¯ºíÀÌ »ý±é´Ï´Ù. Áö¿ø ¸øÇÏ´Â ÇÁ·Î±×·¥ÀÎÁö.
¾Æ´Ï¸é À©µµ¿ì ±âº» ±¸¼º¸¸ ¼³Á¤µÈ °ÍÀÎÁö. ÇÏ¿©Æ° ½Ã½ºÅÛÀÌ ºÒ¾ÈÇØÁý´Ï´Ù.

ÇÑ 4~5³âÀº Àß ½è´Âµ¥ ÀÌÁ¦´Â ¾Ê¾²°Ô µË´Ï´Ù.
Primo Ramdisk »ç¿ëÇß½À´Ï´Ù.

¼º´ÉÀÌ ³·Àº ½Ã½ºÅÛ ÀÏ ¼ö·Ï È¿°ú´Â ÁÁ¾Æ¿ä.
ƯÈ÷ Çϵåµå¶óÀ̺긦 ¿î¿µÃ¼Á¦·Î ¾²´Â ½Ã½ºÅÛ¿¡ ÁÁ½À´Ï´Ù.

ÀÌÁ¦´Â SSD°¡ À־
Àؾî¸Ô°í »ð´Ï´Ù..

AVX 512À̸é.. ½ºÄÉÀÏ·¯ºí·Î °¡¾ß °Ú´Âµ¥¿ä.
¾î¼´Ù AMD·Î °¡¼Ì´ÂÁö.
±è¿ìÁø 2023-05
¸®´ª½º¶ó¸é /dev/shm Æú´õ°¡ ·¥µå¶óÀ̺êÀε¥¿ä¡¦
ÀÎÅÚ Optane µå¶óÀ̺굵 Çѹø »ý°¢ÇØ º¸½Ã¸é ¾î¶³±î ÇÕ´Ï´Ù.  ºñ½Î±ä ÇÏÁö¸¸ P5800X °°Àº ³¡ÆÇ¿ÕÀ» ¾²¸é Á» ´Ù¸¦°Ì´Ï´Ù.
400GBÂ¥¸® Çϳª »ç¼­ µ¹·Áº¸°í ¿ì¿Í~ ÇßÁö¸¸ OS¿ëÀ¸·Î´Â ¿ë·®ÀÌ ¸ðÀß¶ó¼­ 800GB/1.6BÂ¥¸®·Î ´Ù½Ã »ç¼­ ¾²´Âµ¥ ´Ü¼ø ¹Ìµð¾î °°Àº µ¥ÀÌÅÍ ÀúÀå¿ëÀÌ ¾Æ´Ï¶ó¸é M.2 SSDÇÏ°í Àú¿ë·® ÆÄÀÏ ·£´ý I/O ¼Óµµ Â÷ÀÌ Ã¼°¨ Å®´Ï´Ù.


QnA
Á¦¸ñPage 3501/5689
2014-05   5010927   Á¤ÀºÁØ1
2015-12   1546593   ¹é¸Þ°¡
2014-10   5708   À̼±±Ô
2008-04   5708   ÀåÇö¸ð
2005-09   5708   ¹ÚÁ¾´ë
2021-11   5708   AMDºô·±
2006-01   5708   ÃÖ°æÈ£
2005-09   5708   Á¤¸íÇö
2015-04   5709   ÆÞÅå
2005-11   5709   ³ëÇü¼®
2017-02   5709   ¿©ÁÖ³ó¹Î76
2006-05   5709   ±è¿µ³ë
2018-01   5709   À±½ºÇǵå
2007-05   5709   ¹ÚÂùÇõ
2005-08   5709   ÃÖâÇö
2005-05   5709   ±Ç¿µ´ë
2006-02   5709   Àü¿ä¼Á
2012-04   5709   ¿Õ¿ëÇÊ
2008-04   5709   ¹®º´Ã¤
2005-06   5709   ÀÌ°æ¹Î
2016-10   5709   Áöų¾ØÇÏÀ̵å
2007-06   5709   Á¶¸í¼ö