HPCŬ·¯½ºÅÍ ±¸¼º

   Á¶È¸ 3907   Ãßõ 0    

 

안녕하세요. 즐거운 추석 보내셨나요.


2cpu 에 첫 글을 남기게 됐네요. 보스가 클러스터를 사라고 했는데 구체적으로 어떤 것을 사야 할지 고민입니다.


서버 둘 공간은 비좁습니다. 기존에 있는 서버실에 36U cabinet 하나정도 쓸 수 있어요. 

작업은 그냥 코어/램만 많으면 됩니다. (바이오인포 랩/학교)

스토리지는 데이터 보관용으로 500 TB 정도, 작업공간용으로 300 TB, 그리고 스크래치 공간이 필요합니다.

예산을 물었더니, 그냥 사 그러고 마네요. 


공간 때문에 Dell PowerEdge R7415 dual Epyc 7115 로 해서 총 5대(64*5)를 생각하고 있습니다. 그중 1대는 가상화서버로 쓸 것 같구요. 로긴/헤드 노드로 적당히 싼 것 구매하려고 합니다.


스토리지는 그냥 기존에 데이터 저장용으로 500 TB 정도 생각하고 있습니다.  엄청나게 큰 인클로저 하나 사서 Seagate Exos 12TB 를 한 60~90개 정도 넣고 RAID (6?)  구성을 하려고 합니다.

그리고 작업용 스토리지는 (I/O intensive) 200~300 TB SAS 하드로 찾아보고 있습니다. 스크래치 공간도 필요하구요. 이건 10TB SSD?

백업도 생각해야 하구요. 구글클라우드에 어느 정도는 올려놨는데 앞으로 계속 그게 가능할지는 모르겠습니다.


생각은 데이터 저장용 500 TB 는 그냥 서버에 직접 연결하고, 작업용/스크래치 공간은 SAN 으로 구성하려고 하는데 EMC 금액이 어마어마 하네요.


실제 사용하는 사람은 3~5명일 것 같습니다.


글에서 보셨겠지만 주구장창 클러스터 이용만 했지 구매 혹은 관리 쪽은 아는게 없습니다. 며칠째 공부중이지만 확실히 더디네요. 어떤 조언도 감사히 받겠습니다. 그리고 아예 내가 클러스터 하나 만든다 생각하시고 추천해주시면 그것도 큰 도움이 될 것 같습니다. 돈은 저희 보스가 내니까요. 


참고로 해외에 있어서 업체의 도움을 받기는 힘들 것 같습니다.

버팔로윙
ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
¹Ú¹®Çü 2018-09
µ¨¼­¹ö·Î °¡¼Ì´Ù¸é ¸ðµç ÆÄÃ÷´Â µ¨ÆÄÃ÷·Î °¡´Â°Ô ¸Â°í¿ä..

µ¨ÀÇ ½ºÅ丮Áö´Â EMC¸¸ ÀÖ´Â°Ô ¾Æ´Õ´Ï´Ù..

EqualLogic Á¦Ç°±ºµµ »ó´çÈ÷ ±¦Âú½À´Ï´Ù..

±× ¿Ü¿¡ ³×Æ®¿öÅ©´Â °¡´ÉÇÏ´Ù¸é 100G ÀÎÇǴϺ¥µå¸¦ »ç¿ëÇÏ´Â°Ô ÁÁ°ÚÁÒ??
     
±âÁ¸ ¼­¹ö½Ç¿¡ µ¨ ¼­¹ö°¡ ÀÖ´Ù°í´Â µé¾ú½À´Ï´Ù¸¸ ÇÑ ¹ø °¡ºÁ¾ß °Ú³×¿ä. ±¸¸Å »Ó¸¸ÀÌ ¾Æ´Ï¶ó °ü¸®°¡ ÆíÇÑ ºÎºÐµµ »ý°¢ÇØ¾ß ÇÒÅ×±¸¿ä. ´äº¯ °¨»çµå¸³´Ï´Ù.
ÇØ¿Ü ¹ÙÀÌ¿À ÀÎÆ÷ °ü·Ã ¿¬±¸ÇÏ´Â Çб³¿¡¼­ ±¸¸ÅÇϽô °ÍÀ̳׿ä
±×·³ ºñ½ÁÇÑ °è¿­¿¡¼­ »ç¿ëÇÏ´Â Çϵå¿þ¾î¸¦ Âü°íÇØ º¸½Ã´Â °Íµµ ÁÁ½À´Ï´Ù
Áö±Ý »ç¿ëÇϽô Ŭ·¯½ºÅÍ »ç¾çÀº ¾î¶²°¡¿ä
NIHÀΰ¡¿ä?
     
NIH ´Â ¾Æ´Õ´Ï´Ù. Çб³, º´¿ø ¼­¹ö°¡ ÀÖ±ä ÇÏÁö¸¸ ÀÌ·±Àú·± ÀÌÀ¯·Î ÀúÈñ ·¦ Àü¿ëÀ¸·Î ²Ù¸®·Á°í ÇÕ´Ï´Ù. ¾Æ¹«·¡µµ °ø°£ Á¦¾àÀÌ ÀÖ°í, »ç¿ëÀÚ ¼ýÀÚ°¡ ÀûÀ¸¸ç, º¸¾ÈÀÌ ¾ÆÁÖ Áß¿äÇÑ µ¥ÀÌÅ͸¦ ÀúÀåÇØ¾ß Çؼ­ »ý°¢ÇÒ °ÍÀÌ ¸¹³×¿ä. ÀÛ¾÷µéÀº ´ëºÎºÐ ±×³É cpu/ram ¸¸ ¸¹ÀÌ ÇÊ¿äÇÑ ÀÛ¾÷µéÀÌ ¸¹¾Æ¼­¿ä. ¿©·¯ °÷¿¡ ¼Ò¼ÓµÇ¾î »ç¿ëÇÒ ¼ö Àִ Ŭ·¯½ºÅ͵éÀÌ ¸¹±ä Çѵ¥ º¸Åë E5 2600 v3 v4 µéÀÌ ¸¹´õ¶ó±¸¿ä. ¼­¹ö º¥´õ´Â ¼­¹ö½Ç¿¡ ¾Èµé¾î°¡ºÁ¼­ Àß ¸ð¸£°Ú½À´Ï´Ù. ´äº¯ °¨»çµå¸³´Ï´Ù.
          
¼­¹ö¸¦ amd·Î ÇÏ´Â °ÍÀº Á¶±Ý »ý°¢ÇØ º¸¾Æ¾ß ÇÒ °Å °°½À´Ï´Ù
°è»ê ¼Óµµ¸é¿¡¼­ ÄÚ¾î, ramÀÌ ¸¹Àº ½Ã½ºÅÛÀ» »ý°¢ÇÏ½Ç ¼öµµ ÀÖÁö¸¸ ¾ÈÁ¤¼ºµµ ¹®Á¦°¡ µË´Ï´Ù
¾îÂ÷ÇÇ Çѹø ±¸ÃàÇϸé 5³âÀÌ»ó ȤÀº 10³âÀÌ»ó±îÁöµµ »ç¿ëÇÏ½Ç »ý°¢¾Æ´Ï½Å°¡¿ä
ryzenÀÌ ±× Á¤µµ ¾ÈÁ¤¼ºÀ» °ßµ®ÁÙÁö ¾Ë ¼ö ¾ø½À´Ï´Ù
°ËÁõµÈ ½Ã½ºÅÛÀ¸·Î °¡´Â °ÍÀÌ ³ªÁß¿¡ Ȥ½Ã »ý±æ Ã¥ÀÓµµ ¾î´ÀÁ¤µµ Ä¿¹öµÇÁö ¾ÊÀ»±î »ý°¢ÇÕ´Ï´Ù

°ü¸®¸¦ º»ÀÎÀÌ ÇϽŴٰí Çߴµ¥ º¹ÀâÇÑ ÀÏÀÌ ¸¹ÀÌ »ý±æ ¼ö ÀÖ½À´Ï´Ù
¼­¹ö °ü¸®ÇÏ´Â ÀÏÀÌ °£´ÜÇÒ ¼öµµ ÀÖÁö¸¸ ÀÇ¿Ü·Î º¹ÀâÇÑ ÀÏÀÌ ¸¹½À´Ï´Ù
Ȥ½Ã ¼­¹ö °ü¸® °æÇèÀÌ ÀÖÀ¸½ÅÁö ±Ã±ÝÇϱ¸¿ä
¼­¹ö °ü¸® °æÇèÀÌ ¾øÀ¸½Ã¸é Ŭ·¯½ºÅÍ °ü¸®°¡ °¡´ÉÇÑÁö´Â ºÎÁ¤ÀûÀÔ´Ï´Ù
               
¹Ù»Û ÀÏÀÌ ÀÖ¾î ÀÌÁ¦¾ß ´ä±ÛÀ» ´ä´Ï´Ù. Ryzen Àº ¾Æ´Ï°í Epyc À¸·Î ÇÏ·Á°í ÇÕ´Ï´Ù. ¿ÉÅ×·Ð ¼­¹öµµ ¾²±ä Çߴµ¥ Å« ¹®Á¦´Â ¾ø¾ú°Åµç¿ä. ¾ÆÁ÷ Epyc ¿¡ ´ëÇÑ ½É°¢ÇÑ ¹®Á¦´Â ¾È³ª¿Â °Í °°±âµµ ÇÏ°í °ø°£´ëºñ ÄÚ¾î °³¼ö¸¦ »ý°¢ÇÏ¸é ¿¡ÇÈ 7551µà¾óÀÌ Á¦ÀÏ ³´°Ú´õ¶ó±¸¿ä. °ÆÁ¤°ú ´äº¯ °¨»çµå¸³´Ï´Ù.
¹Ú¹®Çü 2018-09
AMD Àß ¾²´Â »ç¶÷Àº Àß ¾¹´Ï´Ù..
     
¹öÆÞ·ÎÀ®´Ô ÁÖÀ§¿¡ ÀÎÅÚ ½Ã½ºÅÛÀÌ ³Î·ÁÀִµ¥ amd ½Ã½ºÅÛÀ» ³ÖÀ¸¸é ´«¿¡ ¶é±îºÁ¿ä
¿¹Àü opteron °°Àº °æ¿ì´Â ¸¹ÀÌ »ç¿ëµé Çß¾úÁÒ
ÇöÀç ryzenµµ ºñ½ÁÇÑ ¼öÁØÀ̶ó¸é ¹®Á¦°¡ ¾øÁö¸¸ ±×·¸Áö ¸øÇÑ°Å °°¾Æ¼­¿ä
¾îµð¿¡¼­³ª ±×°÷¿¡ ¸¹ÀÌ »ç¿ëÇÏ´Â ½Ã½ºÅÛÀ» »ç¿ëÇÏ´Â °ÍÀÌ ¹®Á¦ ÇØ°áµµ ÆíÇÏ°í Çؼ­¿ä
epowergate 2018-09
BioInformatics codeµéÀÌ ±âº»ÀûÀ¸·Î CLOCK / Memory / Core¸¦ Àâ¾Æ¸Ô´Â ±Í½ÅµéÀÌ¶ó¼­ AMD-RyzenÀº ÁÁÀº ¼±ÅÃÀ¸·Î º¸ÀÔ´Ï´Ù.
¿¹Àü¿¡ KIAS/POSTECHµî¿¡ AMD ±¤ÆÒµéÀÌ ¸¹ÀÌ ÀÖ¾ú½À´Ï´Ù.
Scratch DISK´Â ÀϹÝÀûÀ¸·Î °³º° ¼­¹ö¿¡ Local DISK¸¦ ¸¹ÀÌ »ç¿ëÇÕ´Ï´Ù.  ¾îÂ÷ÇÇ °øÀ¯ÇÏÁö ¾Ê´Â µ¥ÀÌÅͱ⠶§¹®ÀÌÁÒ.

Work Storage´Â ¾î¶»°Ô Çصµ ´À¸³´Ï´Ù.
LUSTRE ÃßõÇϴµ¥ °ü¸® ÀڽŠ¾øÀ¸½Ã¸é Àý´ë »ç¿ëÇÏ½Ã¸é ¾ÊµË´Ï´Ù.
±×³É HEAD ³ëµå¿¡ MD-3000 (¿äÁò ¸ðµ¨¹øÈ£´Â ¸ð¸£°Ú°í¿ä) JBOD ½Ã¸®Áî ÁÙ⠴޾Ƽ­ NFS·Î »ç¿ëÇÏ½Ã´Â°Í ÃßõÇÕ´Ï´Ù.
¾îÂ÷ÇÇ HEAD ³ëµå³ª NFS ¼­¹ö³ª ÇÏ´ÂÀÏ °ÅÀÇ ¾ø±â¶§¹®¿¡ À̹æ¹ý ³ª»ÚÁö ¾Ê½À´Ï´Ù.

¾îÂ÷ÇÇ BioÂÊÀº µ¥ÀÌÅÍ ±³È¯ÀÌ ¸¹Àº MPIµîÀ» »ç¿ëÇÏÁö ¾Ê±â ¶§¹®¿¡ IBµîÀ» »ç¿ëÇÏÁø ¾ÊÀ»°ÍÀ¸·Î º¸À̱¸¿ä
¾îÂ÷ÇÇ 10G Àú·ÅÇϴϱî 10G¿¡ S4048 ±ÞÀÇ ½ºÀ§Ä¡»ç¿ë ÃßõÇÕ´Ï´Ù.
°³ÀÎÀûÀ¸·Î´Â ¿¡ÇÈ7551º¸´Ù´Â ½º·¹µå·¡ÆÛ 2990wx °¡ ´õ ³´´Ù°í »ý°¢Çϴµ¥ »ç¿ëÇÒ ¼ö ÀÖ´Â °ø°£ÀÌ ¾ó¸¶ ¾ø´Ùº¸´Ï ¿¡ÇÈÀ¸·Î °¥ ¼ö ¹Û¿¡ ¾øÀ» °Í °°¾Æ¿ä. Á¦°¡ ¼¨½Ã¶û ºÎÇ° »ç¼­ Á¶¸³Çصµ µÇ´Âµ¥ Çб³ µ·À¸·Î ±×°Ô µÉÁöµµ ¸ð¸£°Ú°í, ³ªÁß¿¡ Çϵå¿þ¾î·Î ¹®Á¦°¡ »ý±â¸é ±×°Í ¿ª½Ã °ñÄ¡ ¾ÆÇÃÅ×´Ï »ó¿ëÁ¦Ç° Áß¿¡ ºÎÇÇ´ëºñ °¡Àå ¸¹Àº ÄÚ¾î·Î °¡·Á°í ÇÕ´Ï´Ù. Ȥ½Ã ´Ù¸¥ ¿É¼ÇÀÌ ÀÖÀ»±î¿ä?

³× mpi ¾µ ÀÏÀº ¿©Å±îÁö ¾ø¾ú´ø°¡ °°¾Æ¿ä. Lustre »ý°¢ÇÏ°í ÀÖ½À´Ï´Ù. ¼­¹ö °ü¸®´Â »ç¶÷ °í¿ëÇÒ ¼öµµ ÀÖÀ» °Í °°¾Æ¿ä. ±× µ·  ³ªÁÖ¸é ¿­½ÉÈ÷ ÇÒÅÙµ¥ ¸»ÀÌ¿¡¿ä.

Àü¿¡ ±Ù¹«ÇÏ´ø °÷ °ü¸®ÀÚ°¡ ¾Æ¸®½ºÅ¸ ½ºÀ§Ä¡ ¾´´Ù°í ÃßõÇØÁá´Âµ¥ °Ë»öÇغ¸´Ï °¡°Ý¿¡¼­ ÀÔÀÌ µü ¹ú¾îÁö´õ¶ó±¸¿ä.

µ¥ÀÌÅÍ ¾ÈÁ¤¼º Ãø¸é¿¡¼­´Â ¾î¶² ¹æ¹ýÀÌ °¡°Ý ´ëºñ È¿À²ÀûÀϱî¿ä? 3-2-1 ¿øÄ¢À» °Ô½ÃÆÇ ¾îµò°¡¿¡¼­ º¸±ä Çß½À´Ï´Ù¸¸ È¿À²µµ »ý°¢À» ÇØ¾ß ÇÏ´Â °Í °°¾Æ¼­¿ä.

´äº¯ °Ë»çµå¸³´Ï´Ù.
     
°ü¸®ÇÒ »ç¶÷À» °í¿ëÇÒ ¼ö ÀÖ´Ù´Â ¸»¾¸Àº ¾ÆÁÖ ÀÏÀÌ ½¬¿öÁú ¼ö ÀÖ´Ù´Â ¸»¾¸ÀÔ´Ï´Ù
°ü¸®ÇÒ »ç¶÷À» ¸ÕÀú ¸¸³ª¼­ ½Ã½ºÅÛÀ» ÀdzíÇÏ´Â °Íµµ ¹æ¹ýÀÔ´Ï´Ù
±×·¯´Ï±î ½Ã½ºÅÛÀ» ¸ÕÀú ÁغñÇÏ´Â °Íº¸´Ù »ç¶÷À» ¸ÕÀú ã´Â °ÍÀÌÁö¿ä
³ª¸ÓÁö ¸ðµç °ü¸®´Â ±× »ç¶÷¿¡°Ô ¸Ã±â°í ¹öÆÈ·ÎÀ®´ÔÀ» ÇϽôø ´ë·Î »ç¿ë¸¸ ÇÏ½Ã¸é µÇ´Â °ÍÀÔ´Ï´Ù
¹°·Ð ¹®Á¦ »ý±â¸é °ü¸®ÀÚ¿¡°Ô ¹°À¸¸é µÇ±¸¿ä
½Ã½ºÅÛ »ó¼¼ »çÇ×µµ °ü¸®ÀÚ¿¡°Ô °ßÀûÇؼ­ ¿Ã·Á º¸¶ó°í Çؼ­ ¸¾¿¡ µå½Ã´Â °ÍÀ¸·Î ÇÏ½Ã¸é µÇ±¸¿ä
¸ð¸£´Â ºÐ¾ß´Â ¾Æ´Â »ç¶÷¿¡°Ô ¸Ã±â´Â °ÍÀÌ ÁöÇý¶ó°í 2cpu¿¡¼­ ¹è¿ü½À´Ï´Ù
     
epowergate 2018-09
À§¿¡ Àá±ñ ¸»¾¸µå·ÈÁö¸¸ Lustre´Â ¸ð¸£¸é Àý´ë·Î »ç¿ëÇÏ½Ã¸é ¾ÊµË´Ï´Ù.
±×³É ÀÎÅÍ³Ý ÀÛ´çÈ÷ µÚÁ®¼­ ¼³Ä¡ÇÏ°í Æ¢´×Çؼ­ »ç¿ëÇÒ ¼ö ÀÖ´Â ½Ã½ºÅÛÀÌ ¾Æ³³´Ï´Ù.
¸î°¡Áö Å×½ºÆ® Çغ¸¼ÌÀ¸¸é Á¤¸»·Î »ó¿ëÇÏ°í½Í¾îÁö´Â ½Ã½ºÅÛÀÔ´Ï´Ù.  ²À »ç¿ëÇÏ½Ã°í ½ÍÀ¸½Ã¸é »ó¿ë¼­ºñ½º ¹ÞÀ» ¼ö Àִ°÷ ¸î°÷ ÀÖ½À´Ï´Ù.  ²À »ó¿ë¼­ºñ½º ¹ÞÀ¸¼¼¿ä.
Scratch³ª work °ø°£À¸·Î´Â °¡´ÉÇÒ ¼öµµ Àְڳ׿ä.

10G Switch °¡°ÝÀº º¥´õ¸¶´Ù °Å±â°¡ °Å±âÀÔ´Ï´Ù.  ¾Æ¸®½ºÅ¸/HP/DELL ´Ù ºñ½Áºñ½ÁÇÕ´Ï´Ù.  ¾îµð¼­ ¾î¶»°Ô Áö¿øÀ» ¹Þ´À³Ä°¡ ÃÖÁ¾ °¡°ÝÀ» °áÁ¤ÇÕ´Ï´Ù.
¾îÂ÷ÇÇ L2·Î »ç¿ëÇÒ²¨¸é ¹» »çµµ Â÷ÀÌ°¡ ¾ø½À´Ï´Ù.


QnA
Á¦¸ñPage 1494/5680
2015-12   1482970   ¹é¸Þ°¡
2014-05   4946296   Á¤ÀºÁØ1
2019-11   6052   ½ºÄµl¹ÎÇö±â
2005-07   5921   ÀÌ»óö
2005-09   5227   ¹ÚÂùÀÏ
2005-10   6277   ¼ÛÁøÈ£
2016-04   4363   ÆĶõ²Þ
2004-11   6812   ÀåÇö¸ð
2017-06   3053   µÎ¹ß·Î
2005-07   5791   ±èµ¿ÈÆ
2017-07   4713   À©98
2006-04   5703   Á¤Å¼ö
2004-11   7353   ±è±¤ÁÖ
2017-07   3142   ³ª¶ó»ç¶û
2005-11   5209   ±è»óÈñ
2007-04   6575   Á¶±âö
2022-04   1060   Á¦¿ÂÇÁ·Î
2017-04   4649   Win31
2017-06   5107   À¯·ÉEÁ¤ÇØÁØ
2005-06   5703   ÀӹαÔ
2017-07   8640   ÃÖÀ翵
2008-12   5622   ÀÌ»óµ·