CUDA ÇÁ·Î±×·¡¹Ö ¿ë ÄÄÇ»ÅÍ °ü·Ã ¹®ÀÇ

   Á¶È¸ 12816   Ãßõ 0    

안녕하세요, 대학교 석사 과정에 있는 학생입니다.

이번에 랩에서 CUDA programming 관련하여 컴퓨터를 한대 맞추려 합니다.
그런데 랩에서 CUDA 관련해 처음 시작하는 것이다 보니, 잘 모르는 부분이 많네요.

(아시다 시피) 학교 연구실이 그닥 예산이 넉넉하진 않다 보니,
일단 구입해 보고, 아니면 조정.... 이 쉽지 않아서, 이렇게 2cpu 분들의 도움을 요청 드립니다.


------------------
랩에서 생각 중인 구성은, 아래와 같습니다.

- (대략) Intel Sandybridge i7-2600 정도 CPU 에 NVIDIA GeForce GTX560 TI 구성

- PC 한대를 구성해 놓고, 대략 2-3명이 터미널 접속으로 CUDA programming 을 사용할 예정
  * 네.. 서버로 구성하는 것인데요, 그렇다고 서버로 맞추기엔 예산이 그닥 넉넉치 않아,
    적당한 선의 PC로 구입할 듯 싶습니다.

- PC에 O/S는 linux를 설치하게 될 것 같습니다.

-------------------


궁금한 사항은 아래와 같습니다.

1. 
i7-2600 의 내장그래픽으로 (최소한 필요한) 그래픽 출력을 담당시키고,
외장 그래픽 카드 다는 녀석을 CUDA 연산 전용으로 사용할... 수 있나요?

열심히 여기 및 NVIDIA CUDA forum 등을 찾아 보았는데, 안 되는 듯 싶엇서.... ;;;


2.
내장 그래픽 기능은 disable 시킨 후, 설치할 외장 그래픽카드만 사용한다고 할 때,
(X window 사용 등의 경우) watchdog timer 등과 관련하여 문제(?)가 있다는 글을 보았습니다.
(NVIDIA CUDA forum에서... 5초(?) 마다 watchdog timer reset이 걸려, 긴 수행시간이 필요한 kernel 수행시에는 문제가 될 수 있다... 이런 내용의)

X window만 사용하지 않는다면, 이런 문제는 없는 건지요?
즉, X window 없이 서버처럼 구동시켜 둔 후, 외부에서 터미널 접속 사용을 할 경우엔,
그냥 GPU 하나로 video 출력 + CUDA 연산을 동시에 처리하여도 문제가 없는 것일까요?


3.
GPU를 두개 사용하여, 하나는 비디오 출력 전용 + 다른 하나로 CUDA 전용...
이렇게 사용이 가능하다고 들었습니다.
SLI 구성과는 달리, 이렇게 할 경우 꼭 같은 GPU는 아니어도 된다고 들었는데요.

단, 메인 비디오 출력 담당 GPU가 PCI-E x16 1번 slot 을 사용해야 한다.. 같은, 
일부 제약이 있다고 보았습니다.

필요하면, (3D 등의 기능은 필요 없으므로) 저가 NVIDIA GPU를 하나 꽂아 그래픽 출력 담당 시키고,
GTX560 TI 로 CUDA 연산을 전담시킬까... 싶기도 한데요.

제가 찾아본 M/B 들이 (제가 잘 못 찾아본 것인지 모르겠습니다만)
PCI-E x16 slot 1개에, 다른 추가 PCI-E slot들은 x8 혹은 x4 등이더군요. (형태는 x16 형태일 지라도...)

이런 경우, 저가형 비디오 출력 담당 GPU가 PCI-E x16을 점유하게 될 테고,
GTX560 Ti 가 x8 slot 에 사용될 듯 싶은데요.

이런 구성에서 문제될 사항은 어떤 점이 있을까요?
선뜻 잘 예상이 안 되어서.....


4.
i7-2600.. 이런 선택을 무시하고.
위에 이야기드린 CUDA 연산용 (서버처럼 사용될) PC 하나를 구성한다고 할 때,
어떤 구성이 가장 효율적일런지요?

대략 예산은 150-200 사이 정도 밖에는 없을 듯 싶습니다.
(가급적 저렴할 수록 좋을 수도... ㅜㅡ)



염치없는, 밑도 끝도 없는 질문입니다만...
많은 도움 및 지도편달 부탁드립니다.


감사합니다.



ªÀº±Û Àϼö·Ï ½ÅÁßÇÏ°Ô.
¹Ú¹®Çü 2011-06
º¸µå¸¸ ³õ°í º¸¸é 16¹è¼ÓÀÌ ¸¹Àº º¸µå°¡ ÁÁÀºµ¥ º¸Åë Çö½ÇÀº ±×·¸Áö ¾Ê½À´Ï´Ù.
PC±Þ¿¡¼­´Â ÀÎÅÚĨ¿¡¼­´Â ÀͽºÆ®¸²±ÞÀÎ X38 X48 X58±ÞÀÌ ÁÁ°í¿ä (´Ù 16¹è¼Ó½½·ÔÀÌ ±âº» 2°³)
º¸Åë ¿©±â¿¡ 16¹è¼Ó ½½·ÔÀÌ 2°³ ´õ ´Þ¸° º¸µå°¡ ÁÁÀºµ¥ ¹°¸®ÀûÀ¸·Î 16¹è¼Ó ½½·ÔÀÌ 4°³ ´Þ¸®´Â º¸µåµéÀº
Ä«µå 4°³¸¦ ´Ù ²ÅÀ¸¸é 8¹è¼ÓÀ¸·Î µ¿ÀÛÇÕ´Ï´Ù.

Á¦°¡ ¾Æ´Â ºÐÀº GPU¼Ö·ù¼Ç¿¡¼­´Â ¾ÆÁ÷ PCI-E 2.0 8¹è¼ÓÀ̸é ÃæºÐÇÏ´Ù°í ÇÕ´Ï´Ù.

Àß È®ÀÎÇغ¸½Ã°í¿ä. ¹®Á¦´Â Ä«µå¿¡ µû¸¥ ÆÄ¿ö°¡ °ßµð´À³Ä ¸ø°ßµð´À³Ä°¡ ¹®Á¦³×¿ä.
     
¾ÆÇÏ¸Ç 2011-06
³×, Á¶¾ð °¨»çÇÕ´Ï´Ù.
PCI-E x16 slot ¿©·µ ´Þ¸° ¼Ö·ç¼Çµéµµ ÀÖ³ª º¸±º¿ä.  :)
Çѹø ã¾Æº¸°Ú½À´Ï´Ù.
¿ÀÈ«½Ä 2011-06
½ÇÁ¦ ·Ñ¾Æ¿ô µÇ´Â °ÍÀÌ ¾Æ´Ï¶ó Å×½ºÆ® ¿ëÀ̽Š°Í °°Àºµ¥¿ä..
Á¦°¡ ¾Ë±â·Î..

1) Á¦¾à»çÇ× ¾øÀÌ µ¿½Ã¿¡ Á¦ ¼º´ÉÀ» ³½´Ù¸é ºÒ°¡´ÉÇÏÁö´Â ¾Ê°ÚÁö¸¸...
°¡´ÉÇÏ´Ù°í Çصµ InterOPµî NVidia°è¿­ ƯÀ¯ÀÇ ±â´ÉÀÌ µ¿ÀÛ ÇÏÁö ¾Ê±â ¶§¹®¿¡
±ÇÀåÇØ µå¸®Áö´Â ¾Ê°í ½Í½À´Ï´Ù..

2) °³¹ß ´Ü°è¿¡¼­ Visual Profiler¶ó´øÁö.. Debug¸ðµå¿¡¼­ ¸í·É¾î ¼öÁØÀ¸·Î Å×½ºÆ®¸¦ ÇϽŴٸé
ÀÓº£µðµåÀÇ JTAGó·³ Ŭ·°ÀÌ Á¤ÁöµË´Ï´Ù.
´Ù½Ã ¸»ÇØ ´ÜÀÏ ½Ã½ºÅÛ¿¡¼­ ´ÜÀÏ GPU·Î CUDAÇÁ·Î±×·¥À» Á¦´ë·Î µð¹ö±× Çϱ⿡´Â Á¦¾àÀÌ ¸¹½À´Ï´Ù.
¿ÜºÎ¿¡¼­ Á¢±ÙÇϽŴٴ ¸»¾¸ÇϽŴë·Î¸é Monitor¸¸ ¼³Ä¡ÇÏ¸é µÇ´Ï±î ¹®Á¦µÉ°Ç ¾ø¾î º¸ÀÔ´Ï´Ù.

3) CUDA¿ë °í±Þ ÀåºñÀÎ TESLAµµ 16x°¡ ±ÇÀå »ç¾çÀÔ´Ï´Ù¸¸ ¹Ýµå½Ã ÇÊ¿äÇÏÁö´Â ¾Ê½À´Ï´Ù.

4) CUDA¿ë ½Ã½ºÅÛÀº GPU¸Þ¸ð¸® ÀÌ»óÀÇ ½Ã½ºÅÛ ¸Þ¸ð¸®¸¦ ±ÇÀåÇϱ¸¿ä
CUDA°¡ Ç®·Îµå·Î µ¹¾Æ°¡¸é »ó´çÈ÷ ½Ã²ô·¯¿î°Íµµ °í·Á ÇÏ¼Å¾ß ÇÒ°Å°í..
°³ÀÎÀûÀ¸·Î CPUº¸´Ù´Â ¸Þ¸ð¸® ´ë¿ªÆøÀÌ ´õ º´¸ñÀ» ÀÏÀ¸Å°´Â °Í °°¾Ò½À´Ï´Ù.
Àú¶ó¸é °°Àº °¡°ÝÀ̸é GPU³ª ¸ÞÀÎÀ̳ª ¿©À¯ÀÖ´Â ¸Þ¸ð¸®¸¦ ¿ì¼±À¸·Î ±¸¼º ÇÒ °Í °°½À´Ï´Ù.
     
¾ÆÇÏ¸Ç 2011-06
³×, ´ëÇпø ¿¬±¸½Ç¿¡¼­ÀÇ ±âÃÊ ¿¬±¸¿¡ »ç¿ëÇÒ ¿¹Á¤ÀÔ´Ï´Ù.
¾ÆÁ÷ ´ë±Ô¸ð CUDA processing ÀÌ ÇÊ¿äÇÑ °Ç ¾Æ´Ï¶ó¼­¿ä.

1/2 ´ä ÁֽŠ³»¿ëÀ» º¼ ¶©,
±×³É GPU 2°³¸¦ »ç¿ëÇÏ¿©, Çϳª´Â ±×·¡ÇÈ Ãâ·Â¿ë, ´Ù¸¥ Çϳª´Â CUDA Àü¿ë...
ÀÌ·¸°Ô »ç¿ëÇÏ´Â °ÍÀÌ ³ªÀ» °Å¶õ À̾߱â½ÃÁÒ?

TESLA... ´Â, ´ç¿¬È÷ »ì ¼ö ÀÖ´Ù¸é ÃÖ°íÀ̱ä ÇÏ°Ú½À´Ï´Ù¸¸.
°¡°Ý´ë°¡ ³Ê¹« ³ô¾Æ¼­¿ä. ´ëÇпø ¿¬±¸½Ç¿¡¼­ ¼±¶æ ±¸ÀÔÇϱâ´Â ½±Áö ¾Ê³×¿ä. ;;;
ȸ»ç¶ó¸é¾ß ¸ð¸£°ÚÁö¸¸.


¸Þ¸ð¸®.. ´Â, »ý°¢ ¸ø Çß´ø ºÎºÐÀä.
Á¶¾ð °¨»çÇÕ´Ï´Ù. ^^
http://www.asus.com/Motherboards/Intel_Socket_1155/P8B_WS

ÀÌ Á¦Ç°ÀÌ ºñ½ÁÇÑ ÄÁ¼ÁÀ¸·Î ³ª¿Â Á¦Ç°Àε¥, Á÷Á¢ »ç¿ëÇغ» °æÇèÀÌ ¾ø¾î¼­ È®´äÀº µå¸®±â Èûµé µí ½Í³×¿ä.

i3³ª ±×·¡ÇÈÄھ ³»ÀåµÈ Á¦¿Â ÇÁ·Î¼¼¼­¸¦ ÀåÂøÇÏ¸é ¸ÞÀÎ ±×·¡ÇÈÄ«µå¸¦ ³»ÀåÀ¸·Î »ç¿ëÇÏ°í ¿ÜÀå ±×·¡ÇÈÄ«µå´Â GPGPU ¿ëµµ·Î È°¿ëÀÌ °¡´ÉÇÕ´Ï´Ù.
     
¾ÆÇÏ¸Ç 2011-06
Á¶¾ð °¨»çÇÕ´Ï´Ù.  :)

±Ùµ¥, i3´Â.... (CUDA programming ¿¬±¸¿ëÀ̶ó°ï Çصµ) ³Ê¹« CPU processing power°¡ ³·Àº µí ½Í±¸¿ä.
E3 series Xeon Àº, ¾ÆÁ÷ ±×·¡ÇÈ ÄÚ¾î ³»ÀåµÈ ³à¼®µéÀº, ±¹³»¿£ Ãâ½ÃµÇÁö ¾ÊÀº °ÍÀ¸·Î ¾Ë°í ÀÖ½À´Ï´Ù.
(ÀϺ»¿£ ³ª¿Ô´Ù°í ÇÏ´øµ¥¿ä...)

±×¿Í º°°³·Î, TESLA µîÀÇ CUDA Àü¿ëÀ¸·Î ³ª¿Â ³à¼®Àº ´Ù¸£Áö¸¸,
ÀÏ¹Ý GeForce¿¡¼­ÀÇ CUDA »ç¿ë ½Ã, ÇØ´ç GPU°¡ primary VGA °¡ ¾Æ´Ò °æ¿ì,
Áï ÇØ´ç GeForce°¡ video Ãâ·ÂÀ» ´ã´çÇÏÁö ¾ÊÀ» °æ¿ì¿¡,
CUDA°¡ ºñÈ°¼ºÈ­ µÈ´Ù... ´Â À̾߱⸦ NVIDIA CUDA forum¿¡¼­ º¸¾Æ¼­¿ä.
±×·¡¼­ Áú¹®À» µå¸° »çÇ×À̾ú½À´Ï´Ù.

¹Úâ½Å´Ô²²¼­ ´äº¯ ÁֽŠ»çÇ× (³»Àå ±×·¡ÇÈ »ç¿ëÇÏ°í, ¿ÜÀåÀ» GPGPU Àü¿ëÀ¸·Î »ç¿ë °¡´ÉÇÏ´Ù´Â...) ÀÌ,
Á¤È®ÇÑ°¡¿ä?
TESLA ¸¦ »ç¿ëÇÒ °æ¿ì¿£, °¡´ÉÇÏ´Ù´Â °Í °°Àºµ¥, GeForce¿¡¼­´Â ¾È µÈ´Ù´Â À̾߱⵵ À־¿ä.

È®ÀÎ ºÎŹµå¸³´Ï´Ù.
          
¾ÆÇÏ¸Ç 2011-06
NVIDIA CUDA forum¿¡¼­ º» ±ÛµéÀ» ´Ù½Ã ã¾Æº¸·Á´Ï, °£´ÜÄ¡ ¾Ê³×¿ä.
¹«½¼ °Ë»ö¾î·Î µÚÁ³¾ú´ÂÁö...

°£´ÜÈ÷ ãÀº ¸î°¡Áö´Â...

http://forums.nvidia.com/index.php?showtopic=203144

http://forums.nvidia.com/index.php?showtopic=201798
CUDA¸¦ ¾î¶² ¿ëµµ·Î »ç¿ëÇϽDz«°¡¿ä?
Àú´Â ¿µ»óó¸® °ü·Ã ºÎºÐÀ» CUDA·Î »ç¿ëÁßÀÔ´Ï´Ù.

1¹ø °¡´ÉÇÕ´Ï´Ù. (i7 2600 + GT460) Áý¿¡¼­´Â ÀÌ·¸°Ô »ç¿ëÇÕ´Ï´Ù.

Àú´Â ÁÖ·Î 2¹øÀ¸·Î »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù. (i7 980X + GTX480)
Áï GPUÇϳª¸¸À¸·Î Video Ãâ·ÂÇÏ°í CUDA¿¬»ê¿¡ ÀüÇô ¹®Á¦°¡ ¾ø½À´Ï´Ù. ´Ù¸¸ OS°¡ XP³ª Win7¿¡¼­ »ç¿ëÇؼ­ Linux°ü·ÃÀº ¸ð¸£°Ú³×¿ä..^^

3¹øÀº ±Û½ê¿ä.. Ãʱ⿡´Â GT8800À¸·Î Ãâ·ÂÀ» ±×¸®°í CUDA ¿¬»êÀº Teslaº¸µå·Î Çß¾ú´Âµ¥, Æ丣¹ÌÄÚ¾î(GTX480)s³ª¿À°íºÎÅÍ´Â GTX480ÇÑ°³¿¡ Video Ãâ·Â°ú CUDA¿¬»ê¿¡ ÀüÇô ¹«¸®°¡ ¾ø½À´Ï´Ù.

¾Æ.. ±×¸®°í ½½·ÔÀº »ó°ü¾ø´øµ¥¿ä..
Áö±Ý º¸µå°¡ Supermicro X8SAXÀÔ´Ï´Ù. Ä𷯶§¹®¿¡ VGA1¹ø ½½·Ô¿¡ GTX480À» ¸ø²È¾Æ¼­ 3¹ø(SLI)½½·Ô¿¡ ²È¾Æ³ù´Âµ¥, Àß »ç¿ëÁßÀÔ´Ï´Ù.
     
¾ÆÇÏ¸Ç 2011-06
Ä£ÀýÇÑ ´äº¯ °¨»çÇÕ´Ï´Ù.  :)

ÀúÈñ´Â ·¦¿¡¼­, ±³¼ö´Ô²²¼­ CUDA °ü·ÃÇÑ ¿¬±¸¸¦ (Á¤È®È÷´Â CPU/GPU heterogeneous architecture °ü·ÃÇÑ) ½ÃÀÛÇϱ⸦ ¿øÇϼż­¿ä.
ÀÏ´Ü °£´ÜÇÑ(?) pilot study °â ¿¬±¸¸¦ ½ÃÀÛÇÏ°Ô µÉ µí ½Í½À´Ï´Ù.
±× ÀÏȯ¿¡¼­ Áغñ¸¦ ÇÏ´Â °Å±¸¿ä.
µû¶ó¼­, video encoding µî... ÀÌ·± ¸íÈ®ÇÑ CUDA programÀÇ targetÀÌ Á¤ÇØÁ® ÀÖÁö´Â ¾ÊÀº »óÅÂÀÔ´Ï´Ù.


´äº¯ ÁֽŠ³»¿ëÀ» ¾Æ·¡¿Í °°ÀÌ ÀÌÇØÇߴµ¥¿ä.
Á¦°¡ À߸ø ÀÌÇØÇÑ ºÎºÐÀÌ ÀÖ´ÂÁö¿ä?

- Áý¿¡¼­ i7-2600 + GT460 Á¶ÇÕÀ¸·Î »ç¿ë ÁßÀÌ´Ù... °í Çϼ̴µ¥¿ä.
  ÀÌ°Ô, ³»Àå ±×·¡ÇÈÀ¸·Î ºñµð¿À Ãâ·ÂÀ», GT460Àº CUDA ¿¬»ê Àü¿ëÀ¸·Î... ÀÌ·¸°Ô »ç¿ë ÁßÀ̶õ À̾߱â½ÅÁö¿ä?
  H67 ȤÀº Z68 chipsetÀ» »ç¿ëÇϼÌÀ» ÅÙµ¥¿ä.
  ¿ÜÀå ±×·¡ÇÈ Ä«µå »ç¿ë ½Ã, ³»Àå ±×·¡ÇÈÀÌ ÀÚµ¿(?)À¸·Î disable ¾Æ´Ï´ø°¡¿ä?
  ȤÀº ³»Àå±×·¡ÇÈÀ» »ç¿ëÇÏ°í CUDA Àü¿ëÀ¸·Î´Â GT460 ÀÌ Á¦´ë·Î ÀνÄÀÌ µÇ½Ã´Â °Ç°¡¿ä?

- ÁÖ·Î 2¹øÀ¸·Î »ç¿ëÇϽŴٰí Çϼ̴µ¥¿ä. (i7 980X + GTX480)
  (Àû¾îµµ À©µµ¿ì ±âÁØÀ¸·Ð) ±×·¡ÇÈÄ«µå Çϳª·Î ºñµð¿ÀÃâ·Â ¹× CUDA¿¬»êÀ» µ¿½Ã¿¡ ½ÃÄѵµ Å« ¹«¸® ¾ø´Â °Í °°´Ù.. ´Â À̾߱â½ÃÁÒ?
  Á¤¼ºÈÆ ´Ô²²¼± ¾î¶² ¿ëµµ·Î CUDA¸¦ »ç¿ëÇϽôÂÁö, Çѹø ¿©ÂåºÁµµ µÉ·±Áö¿ä?


°¨»çÇÕ´Ï´Ù.
          
ÂÊÁö º¸³»µå·È½À´Ï´Ù.
               
¾ÆÇÏ¸Ç 2011-07
³Ü, °¨»çÇÕ´Ï´Ù.  :)
¾ÈÆ®¿öÇÁ ´ëÇÐ digital tomography group ÀÇ FASTRA I/II ½Ã½ºÅÛÀ» Âü°íÇϼ¼¿ä.

http://www.youtube.com/watch?v=GAoLJc-BGN8
http://www.youtube.com/watch?v=GOpBlYx2H1o
     
¾ÆÇÏ¸Ç 2011-07
³×, ÁÁÀº ¼Ò°³ °¨»çÇÕ´Ï´Ù.
Çѹø ¼Ò°³ÇØ ÁֽŠ¿µ»ó »ìÆ캸°Ú½À´Ï´Ù.
¿ÀÈ«½Ä 2011-07
Á» ´Ê°í ÁÖÁ¦³ÑÀº ÷¾ðÀÌÁö¸¸..
Ȥ½Ã CUDA·Î °³¹ßµÈ ÇÁ·Î±×·¥À» ÁýÁßÀûÀ¸·Î ½ÇÇàÇÏ´Â °ÍÀÌ ¾Æ´Ï¶ó
³ëÇϿ츦 ¾ò´Â°ÍÀÌ ¸ñÀûÀ̽öó¸é
ÀÌ¹Ì ÀÖ´Â PCµé¿¡ °°Àº ¼¼´ëÀÇ GPU¸¦ Ãß°¡·Î ´Þ¾Æ »ç¿ëÇϽÉÀÌ ³´Áö ¾ÊÀ»±î ÇÕ´Ï´Ù...
2~3ºÐÀ̽öó¸é 200 ¹Ì¸¸ ºñ¿ëÀ¸·Î Áß°í±Þ GPU¸¦ Çϳª¾¿ ±¸¼ºÀÌ °¡´ÉÇϽÇÅÙµ¥¿ä..

150~200Á¤µµÀÇ ±¸¼ºÀ¸·Î´Â HDD¶ó´øÁö CPU¶ó´øÁö ±¸¼º¿¡ µé¾î°¡´Â ºÎ´ëºñ¿ëÀÌ »ó´ëÀûÀ¸·Î Ä¿¼­
GPU¿¡ »ç¿ë °¡´ÉÇÑ ±Ý¾×ÀÌ ±×¸® Å©Áö ¾ÊÀ» °Í °°½À´Ï´Ù.

Áö±Ý Á¦ ±¸¼ºÀÌ Quadro 4000 + C2070À¸·Î È¥ÀÚ ¾²´Â ¸Ó½ÅÀε¥ ÇÑâ ÄÚµùÇÏ°í ¹ú·¹ Àâ´Â ¿ÍÁß¿¡´Â
À§¿¡ ¸»¾¸ µå¸°°Í ó·³ Ŭ·°À» Á¤Áö ½ÃÅ°°í ÇØ¾ß Çؼ­ ´©°¡ ¿¬»êÁ» µµ¿Í ´Þ·¡µµ º¸ÅÂÁÙ ¿©·ÂÀÌ ¾ø½À´Ï´Ù..


QnA
Á¦¸ñPage 5608/5688
2014-05   5000045   Á¤ÀºÁØ1
2015-12   1535905   ¹é¸Þ°¡
2011-03   7846   ÃÖ¿ø½ÃÀÍ
2017-04   4034   ³ªÆÄÀÌ°­½ÂÈÆ
2011-04   7677   ¹æoÈ¿o¹®
2015-03   3602   ¹«¾Æ
2019-09   3108   ±¸½ÊÆò
2020-12   5008   ¸ÆºÏÀ»»ç¾ß¡¦
02-07   1685   Á¤ÀºÁØ1
02-10   1137   Ãʺ¸ÀÚ¿¡¿ë
2022-06   1847   Sakura24
2020-12   8847   È­¶õ
2017-04   3563   Goldentooth
2019-09   2509   ¼º±â»ç
02-21   988   ¹Ì´ã
2022-07   1488   Elsaphaba
2015-03   3849   ÇöÁø
2013-11   16723   Á¤»ó¾ï
2016-05   3978   Æ÷¿Ã
2017-04   4333   ÄĹÚ
2017-05   3302   s±èÁ¾È­z
2018-08   5131   Å©¸®º¸