나름 헝그리(?)하게 HDD를 많이 달아봤습니다.

캔위드   
   조회 25097   추천 14    


언제나 느껴지는 공간의 압박에 원없이 용량좀 크게 써보고 싶어서

이런저런 저가형 스토리지를 샀다가 팔았다가 했었습니다.

 

펜타레이드인가 8개인가 10개 들어가는 그것은 인식이 되다말다 이상해서 중고로 팔고

또 5개자리 스토리지도 RAID모드가 아닐땐 랜덤으로 HDD하나만 인식했던가... 하여튼 이상해서 또 팔고

제가 구매한 마지막 스토리지는 NetStor NA770A라고 포트멀티플라이어를 이용하여 ESATA 2개로 10개의 HDD를

지원하는 녀석인데 이것도 뭔가 잘 돌아가다 인식이 안되다가 하던중 뒤에 PCB기판 하나가 고장나서 팔지도 못하고

엔디코는 단종됐다며 A/S도 안된다고 해서 그냥 5개만쓸까 하다가 애물단지로 남아있는 상태입니다;;;

 

그래서 고가의 외장스토리지라면 몰라도 저가형은 쓸모가 없다라는 결론을 내리고

 

고가의 래이드카드를 해외주문으로 저렴하게 구매하여 구성하는 것으로 방향을 바꿨습니다.

그런데 이것도 만만치가 않았습니다.

 

ASR-71605는 마침 ebay에서 개당 200달러정도에 저렴하게 2개를 쉽게 구했는데

케이스가 문제네요.

 

슈퍼마이크로 24베이를 고민해 봤지만

http://www.ebay.com/sch/i.html?_odkw=24+bay&_osacat=0&_from=R40&_trksid=p2045573.m570.l1313.TR0.TRC0.H0.Xsupermicro+24+bay.TRS0&_nkw=supermicro+24+bay&_sacat=0

여기에 ATX보드가 들어가나 싶기도 하거니와 더 큰 문제는 서버용 파워라서 소음이 클 것 같아서 패쓰했습니다.

 

그렇게 두어달 고민하다 내린 결론은

 

이걸로 탑을 쌓고

 

Sans Digital HDDRACK5 5-Bay IDE/SATA Hard Drive Organizing Rack

http://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=HDDRACK5


 

저렴한 허브랙(13만원;;) 에 잘 넣어보면 어떨까 ? 였습니다

 

강원전자 NETmate NM-H750M 허브랙

http://prod.danawa.com/info/?pcode=1281075&keyword=NM-H750M

 

 

 

케이스는 뭐 대충 브라보택으로 인터널로 8개 들어가는 빅타워가 있길레 그것으로 우선

메인 26테라 ( 4T x 8개 raid 5 )를 구성했고요

 

 

 

HDDRACK5 4개를 이용해서

백업용으로 또 26테라 ( 4T x 8개 RAID5 ) 를 구성하고

기존에 사용하던 HDD를 이리저리 모아서

두번째 ASR-71605를 HBA 모드로 셋팅하여 전부 꼽았습니다.

 

 

 

 

 

 

 

그런데 ASR-71605가 HBA 모드에서는 핫플러그가 제대로 안되더라고요...

그래서 예전에 구매해 뒀던... 굴러다니던 마벨칩 4 포트 SATA 확장 카드를 추가로 붙여서 핫스왑 4bay에 연결했습니다.

 

PCIe SATA 6G Card Model: SI-PEX40064

http://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords=SI-PEX40064


 

그리고 메인 5.25인치 1 BAY를 사용하는 2.5인치 핫스왑 4 bay 에 SSD 두개를 RAID 0 으로 구성하여 OS 및 작업용 D 드라브를 구성했습니다.

 

 

최종 완성(?) 모습;;; ㅎㅎㅎㅎㅎㅎ


 

구성하면서 문제는 파워서플라이였습니다;;;;

정말 바보같이 아무생각없이 좀 오래되긴 했지만 그래도 예전에 거금을 주고산 잘만 ZM770XT 에 Y케이블로 HDD를 마구 꼽았더니

블루스크린 여러번 떠주고 파워가 사망하셨습니다.;;

 

그래서 1000w짜리를 구매하고 HDD를 달다가 혹시나 해서 잘만에 전화를 해보니

PCIE쪽이 강화된 파워라고... HDD는 20개 이상 달면 안된다고 하네요.

그래서 찾아보니 제 목적에는 850w로 충분했더라고요;;

뭐 나중에 그래픽 카드 여러개 달때도 있겠거니 싶어서 1000w는 그냥 메인파워로 하고

850w파워를 추가로 구매하여 보조파워로 구성했습니다.


결국 나름 최소비용(?)으로 74.5테라를 확보하고

여유로 3.5hdd 핫스왑 4개, 2.5hdd 핫스왑 2개

그리고 ASR-71605에 여유 8포트 (이걸 사용하려면 HDDRACK5 를 2개 더 구해야겠지만;) 의 확장성을 확보했습니다.


 

저렴(?)한 스토리지들에 비해 확실히 ASR-71605에 직접 붙이는게 확실히 안정적인것 같고요

딴에는 최강의 가성비(?)라고 생각됩니다.

물론 24bay 서버용 케이스같은걸 구매해서 구성할수도 있겠지만 이것의 장점은 엄~~~청나게 조용하다는 것에 있습니다. ㅎㅎ

몇달간의 고민과 삽질끝에 완성된 구성을 보니 뿌듯하네요.

 

(그런데 사실 알고보면 단순 조립인건데 이런걸 DIY게시판에 올려도 되나 싶네요;)

 

 

 

임현진 2015-12
와... 이런 엄청난 DIY 라니 ㅎㅎㅎ
제 상황과 정말 유사하고 제가 요즘 고민하고 상상했던 부분과 일치하는면에 많아 정말 재미있게봤습니다

특히 아마존을 뒤지면서 스크랩했던 부품을 직접 활용하시는 모습에 감탄이 나오네요
저는 케이스 두개를 전면부 측면에 경첩으로 이어서 여닫이 식으로 더블케이스를 만들어볼까 했는데..

서버랙 아이디어 정말 좋네요...
지금 사용중인 케이스가 3Rsystem의 L700 이클립스인데.. 3.5인치 9개, 2.5인치 6개로 한계가 와서 고민이었습니다 <- 그리고 이 형태가 두세트 입니다 ㅠㅠ

영감을 주신 아이디어에 정말 감사드립니다 ㅎㅎ
서버랙 검색해야겠네요 ^^;
     
캔위드 2015-12
재미있게 봐주셔서 감사합니다 ㅎㅎㅎㅎㅎㅎ
저도 더블케이스를 고민해 봤었는데요. 저 같은 경우엔 2가지를 충족해야 했습니다.
1. 본체는 바닥에 둬야 한다 ( 공간 활용 + 소음 )
2. 본체를 자주 꺼내서 손보곤(?) 해야 한다.
더블케이스는 2번이 문제더라고요.
그래서 한동안 본체 두개를 커버할 수 있는 바퀴달린 넓은 받침대를 열심히 찾아보기도 했었습니다만.........없더군요 그런건;;
그러다 눈에 들어온게 사무실 구석에 있던 허브랙 이였던 것입니다.
"저 안에다 이것저것 넣고.. 쭈욱 뺐다가 넣었다가 하면 딱이겠다!"싶었던 거죠
사진 보시면 나와있지만 랙이 앞으로 쭈욱 나온 상태에서도 모든 선들이 여유있게 연결되어 있습니다.
더구나 4면을 자유롭게 오픈할 수 있어서 허브랙은 정말 2번에 제대로 부합하더군요.
(그리고 짐승2000이란 케이스도 많이 고민을 했었는데 구하기도 힘들 것 같고 무게가 좀 너무하다 싶더군요)
강영준2C 2015-12
대단하십니다

제가 1년전에 포기한걸 해낸분이 계시군요...

한가지 주의하실게 파워에서 나오는 sata케이블당 HDD 4개만 다셔야됩니다

5개부터 달면  18AWG의 한계로 불나거나 전압 출렁데서 HDD사망...

XFX 850 Pro Gold처럼 SATA케이블 5개 꽂을수있는거 사서

20개 HDD꽂으실수있습니다..
     
캔위드 2015-12
감사합니다 ㅎㅎ
HDD를 전부 5400rpm  으로 구성하다 보니 "저전력 이니깐 전기 조금 먹으니깐 여러개 꼽아도 되겠지 뭐~"라고 생각한게 문제였습니다 ㅎㅎ
실제로 잘 돌아가는 것처럼 보이긴 합니다. 그런데 일정 시간 지나니깐 블루스크린 뜨더라고요.... 무시하고 계속 썼더니 파워 사망;;;
전류니 전압이니 이런거에 관심도 없고 잘 몰라서 발생한 사고지요 ㅠ.ㅠ
잘만 엔지니어 이야기를 들어보니 저장장치는  +5V출력이 기준이라고 하더라고요.
그리고 안정적인 공급은 제공되는 SATA + IDE 포트 기준이라고 합니다.
제가 사용한 파워가 각각
잘만 ZM1000-EBT 80PLUS GOLD
잘만 ZM850-EBT 80PLUS GOLD
으로 둘다 +5V출력이 25A 이고 SATA,IDE 포트는 둘다 20개 입니다.
즉 안정적으로 40개의 저장장치를 지원할 수 있다는 것이죠.
당연히 35만원짜리 파워하나 날린 다음부터는 저전력이고 뭐고 딱 스펙대로만 포트를 사용하고 있습니다. ㅎㅎㅎ
          
강영준2C 2015-12
3.5인치 하드는 12V로 모터돌립니다 5V로는 기판 및 칩들 전원용입니다.

부팅시 25W~30W사용하는데

18awg의 최대 허용전류가 120~150W인가 그럽니다

그래서 케이블당 3.5인치 하드 4개가 한계이구요

하드가 40개라면

부팅시 1200W필요합니다

지금 뭔가 엄청 착각 하고 계신듯 하신데 조심하세요~ 잘못하다가 다 날립니다

현재 시중 파워로는 3.5 HDD 20개가 한계입니다..

그 이상물리면 전력 부족으로 전압 출렁되서 다 죽습니다 ;;;
               
캔위드 2015-12
아이고 35만원짜리 파워 날린사람이 허술하게 했겠습니까 ㅎㅎ
1000w (20개 hdd) + 850w (20개 hdd) = 1850w (40개 hdd) 고요
이번에는 Y케이블없이 정확히 스펙대로만 구성했습니다^^
                    
강영준2C 2015-12
ㅋㅋㅋㅋㅋㅋ 대단하십니다

세상에 파워를 두개를 쓰실줄이야....우왕...
                    
저도 이런 문제로 파워 2개를 쓰려고 고민중인데 역시 그렇게 해결하셨군요..^^
박문형 2015-12
     
김준유 2015-12
어후 보기만 해도 저거 들다 허리가 나갈거라는 생각이....
          
박문형 2015-12
하드 다채우면 80키로쯤 합니다..
               
저거들다 허리 다치신거죠????
                    
박문형 2015-12
그렇다고 보기에는 힘들고요.

선천적인 요인이 절반 후천적요인이 절반입니다.
     
캔위드 2015-12
와.. 저는 손재주가 없어서 엄두도 못내는 작업이군요.
저도 슈퍼마이크로 24베이 사다가 작업해 보고 싶은데... 능력이 안되는군요..ㅠ.ㅠ
음...두번째사진의 뼈다귀는 잘 아는집에서 제조한거네요...ㅎㅎㅎ (대만 업체....)
창고에 몇개 굴러댕기는듯....
저 뼈다귀가 개별 파워 쓰고....하드 나사가 변태라서 전용으로 써줘야 된다는......
     
캔위드 2015-12
ㅎㅎ 잘 아시는군요
전 개별파워는 무시하고 있고요 (어차피 여러개 연결해서 쓰니)
하드 나사는 뭐 동봉되어 있어서 (잃어버리면 클남;;;) 그대로 쓰고 있고요.
나사돌리기는게 귀찮긴 하지만 대신 쑥 넣어서 왼쪽에 고정장치를 꾹 눌러서 완전히 밀착 고정되는 느낌은 좋더라고요. 나름 튼튼한듯~

다만 저의 불만은 쿨링팬을 구성하기에 따라서 120mm 80mm 다양하게 설치할 수 있는데 제일 커다란 120mm 쿨링팬을 설치한다고 하더라도
5개중에 제일 위에 하드는 바람이 좀 덜 가더라고요... 온도 체크 해보면 제일 위에 있는 하드만 열이 좀 높았던거 같아요.
그래서 제일위에는 비워두고 4개씩만 설치했어요. 어차피 래이드컨트롤러도 8개가 한셋트인 상황이라 다행이라면 다행이죠.

사실 제일 탐났던건 요놈입니다. 크기도 적절하고 쿨러도 적절, 가격도 착하고
쿨러마스터 4 in 3 DEVICE MODULE 대양케이스
http://prod.danawa.com/info/?pcode=1024467&cate=1131315

문제는 품절이라는거 ㅠ.ㅠ

비슷한 걸로 리안리 EX-H35 실버가 있었는데
http://prod.danawa.com/info/?pcode=2475778
이거랑 HDDRACK5 랑 고심을 거듭하다가 HDDRACK5는 HDDRACK5끼리 위로 위로 무한확장 ? 전용 나사로 안정적으로 고정된다는 점에서
낙찰 된 것이죠.
캔위드 2015-12
아... 본문에서는 누락되었지만, 혹시 시도 하시는 분이 계실까봐 참고로 중간 시행착오 하나 말씀드립니다.

랙의 장점인 원하는 위치마다 선반을 설치할 수 있다는 점을 살려서
랙을 3등분으로 나눠서 한칸엔 보드를 두고 한칸엔 odd 및 핫스왑 그리고  다른 한칸에 hdd모아두고 이렇게 하려고 시도했으나.. 실패했습니다

가장 큰 실패원인은 의외로 랙의 공간이 협소하다는 것입니다 ㅜㅜ
보드에 그래픽카드라던가 래이드컨트롤러 같은걸 제대로 고정하기 위해 오픈형 케이스를 이용해 봤는데요
의외로 공간이 협소해서 보드 공간이 꽤 차지합니다
둘째 문제는 sff-8643 케이블이 .8 미터가 의외로 짧네요
다른건 연장케이블을 구했는데 래이드케이블이 문제였고요
아무튼 겨우겨우 구성이 되긴 하는데 공간이 너무 협소해져서
뭐 하나 하려면 엄청 빡세서 다 해체하고 결국 hdd 많이들어가는
저렴학 빅타워(5만원)로 오픈해서 쓰는게 공간활용이 제일 잘되네요 ㅎㅎ
김훈1 2015-12
랙에 넣은 경우 소음은 많이 감소하는지 궁금합니다.

테이프드라이브를 사용 중인데, 소음이 상당히 커서
집에 두질 못하고 사무실에서 아무도 없을 때 씁니다.
만약 저 랙이 소음을 많이 감소시켜줄 수 있다면 집에 두고 쓸 수 있을 것 같은데
어떤가요?
     
캔위드 2015-12
랙으로 인한 소음감소 효과가 분명히 있긴합니다만...
거의 없다고 말해도 좋은 정도로 효과는 크지 않습니다.
검색해 보시면 저가형 무소음 서버랙하고 고가의 무소음 서버랙 제품이
있긴 합니다만 저가형 같은 경우 연락해 보니 그냥 말만 그리 써놓은 거지
그것도 실제 소음감소 효과는 그리 크지 않다고 하네요 ㅎㅎ
고가는 알아보지 않았고요 대신 방음 서버룸을 만들어 볼까 싶어서
관련 전문 업체에 (인터넷 블로그엔 만족도가 엄청 좋은것 처럼 나와서) 상담을 받아보니 그방법도 소음을 크게 줄여주긴 하지만 제가 만족할만한 수준은 아니더군요;;;
그래서 또 알아본게 방음박스던가 이런걸 DIY로 시도한 사람들이 있었는데 결론은 전부 삽질;; 실패였습니다.
결국 결론은 애초에 소음이 발생하지 않는 제품/부품들로 구성하는게 답인거죠... 도움이 안되서 죄송하네요 ㅠㅠ
          
김훈1 2015-12
아닙니다. 테이프 드라이브 소음이야 어쩔수 없는 부분이죠.

저도 HDD를 워낙 많이 써서 어떻게 해야 하나 고민이 많이 되었는데,
많은 도움이 되었습니다.
NANDROID 2015-12
굳이 pc용파워를 쓰시는것 보다는 12v/5v 듀얼출력 산업용 파워 서플라이를 구해다가 자작하셔도 될것 같네요.
     
캔위드 2015-12
본문에도 써있지만 그간 파워에는 전혀 관심이 없었습니다. ㅎㅎ
5v 12v만 있으면 된다는 것도 이번에 알았지요 나중에 비슷한 시스템을 구성하게 된다면 말씀하신대로 해봐야겠습니다. 감사합니다^^
1CPU지창훈 2015-12
전 하드에서 때어낸 자석을 120미리 저속팬에 록타로 붙여 하드에 살짝 붙여줍니다
하드를 따닥따닥 붙여도 하드끼리 이쑤시개만큼의 이격만 있으면 하드도 시원하고 소리도 안납니다
뭐 팬소리가 아무리 커도 모터소리에 묻혀 버리겠지만....
산업용 SMPS사용에 문제가 없다면 공간이나 선 정리에서 더 좋을것 같습니다

그런데 그 많은 용량은 뭘로 다 채우시는지 궁금합니다 ??
     
캔위드 2015-12
말씀하시는게 어떤 구성인지 잘 상상이 안가네요.
참고가 될만한 사진이나 링크자료가 있으면 부탁드립니다.
지금 하드디스크 배치가 말씀하신대로 공간이나 선정리 부분에서 아쉬운게 사실이거든요 그저 제 수준에서 최선이였을 따름이죠.

데이터 내용은 93년부터의 각종 개인자료 작업파일 및 사진이나 영상같은 개인 미디어 업무상 백업자료등으로 구성되어 있습니다.
용량은 17테라 정도 사용중이고요.
hdd 구성은 2T x 4, 3T x 2, 4T x 2 = 22TB 이였는데
이번에 4T x 8 (raid5) = 28TB 로 사실상 증가폭은 6TB 밖에 안됩니다.
두번째 4T x 8 (raid5) 세트는 백업이고요.
원래 사용하던 hdd들을 고민중이긴 하지만 몇개만 빼고 대부분 a/s기간이 지난 것들이라
그저 날라가도 상관없는 데이터들을 저장하는 방향이 되지 않을까 싶네요.

결과적으로 총 용량의 증가폭은 6TB밖에 안되지만 ( 기존hdd제외, 백업 제외 )
기존에 개별로 8개의 디스크를 8개의 드라이브로 각각 용도별로 사용할때는 각각의 남은용량 관리가 꽤나 스트레스 였었는데요.
하나로 모으고 나니 이렇게 편할수가 없습니다. ㅠ.ㅠ
아 정확하게는 파티션 3개로 나눴군요.
FAST영역(VMWARE들..실제로는 ssd에 복사해서 사용. 복사속도가 초당 800~1G나옴), 일반영역(대용량), SLOW영역(백업위주)
아무튼 속도도 빠르고 디스크 장애도 대비하고 모든 데이터 백업되고 대만족 입니다. ㅎㅎ
김황중 2015-12
하드가 많으면 그만큼 장애날 확률도 높아집니다
각각 어느순간 고장이 나있기에
모니터링도 잘사시기 바랍니다

여튼 대박...^^
     
캔위드 2015-12
네... 그 장애 확률 때문에 고민고민하다 눈 질끔감고 4Tx8 를 추가구성 했습니다. ㅠ.ㅠ
하나 이상한건 5805는 알림 이메일 기능이 있는데
71605는 아무리 찾아봐도 없네요... 어차피 뭐 부저기능은 켜놨고 개인PC라서 문제 있으면 소리가 나겠거니 하고 있습니다.
71605가 속도는 빠른거 같아서 좋은데 JBOD기능도 없고 의외로 아쉬운 점들이 하나둘 보이네요
캔위드 2015-12
문제가 생겼습니다.
처음에는 조용했는데 30dB ( 휴대폰 소음측정기 기준 )
제대로 며칠 가동하면서 보니깐 소음이 좀 거실리네요 5dB 높아져서 현재 35dB입니다.
흡음제나 차음재를 써볼까 하는데 관련해서 질문 올려놨습니다.
http://www.2cpu.co.kr/bbs/board.php?bo_table=QnA&wr_id=498841
관련 경험이나 지식이 있으신분이 있으면 도움 부탁드립니다.
김현린 2015-12
제가 구성한거랑 비슷하지만 좀 다르군요!

저는 U-NAS 케이스에 MINI SAS to HD SAS 케이블을 이용해서

78165에 직결 해주었습니다 하하..

결국은 U-DAS입니다.

78165 외부포트 2개(8베이)가 남으니까 다음에도 U-NAS 케이스 하나 또 들여야지.. 이러고 있었습니다 하하하하..

그리고 전력 쪽도..

디스크 8장이니 120W면 충분하겠구나.. 싶어서 DC to DC 로 구성했는데

8장을 다 꼿으면 간혹가다가 한놈이 픽픽 죽어서 어레이에 노란불이 들어오더군요...

그냥 300W 짜리 일반 파워 꼿고나서 정상적으로 사용중입니다..
     
캔위드 2015-12
U-DAS 좋네요~ ㅎㅎ
U-NAS 8 BAY라면 U-NAS NSC-800 같은데 가격이 만만치 않군요.
http://www.u-nas.com/xcart/product.php?productid=17617&cat=249&page=1
전 그냥 HDD만 잘 고정되고 쿨러만 달면 되는데...
쿨러는 어떤분이 아이디어를 주셔서 한줄에 8bay 로 hdd만 적절하게 고정하면 되는데.... 어렵네요. 이대로 써야 할까봅니다. ㅎㅎ
hobit 2015-12
와 대단하십니다.  많이 배우고 갑니다. ~~
     
캔위드 2016-01
어느 부분에 배울게 있었을지 모르겠지만 도움이 되신 부분이 있으시면 다행이네요~ ㅎㅎ
사실 밑에 답글 보시면 아시겠지만 보조파워(ZM850-EBT) 소음 문제로 인해서 쿨링을 고민고민 하다 한효석님이 스토리지서버로의 분리 아이디어를 주셔서 지금 분리를 시도해 보고 있습니다 ㅠ.ㅠ
이사무엘 2016-01
와.. 저 케이블.. 존경스럽습니다.. ㅠㅠ
     
캔위드 2016-01
아이고 그냥 다이소에서 파는 한봉지에 천원짜리 케이블 타이로 마구 묶은 것 밖에 없습니다 ㅠ.ㅠ
방o효o문 2016-01
무셔라...
Subi 2016-01
대단합니다. 저도 비슷하게 해보고 싶은데 요거엔 짐승케이스가 딱인데 말이죠.
http://2cpu.co.kr/bbs/board.php?bo_table=hardware&wr_id=26001

아마 재작년에 완판(?) 된걸로 아는데 구할 수가 없는 게 아쉽네요. ㅎㅎㅎ
     
캔위드 2016-01
짐승2000 제가 원하는 사양에 가장 근접한 케이스중에 하나였죠
저는 중x나라에 바퀴하나 부러진게 하나 나와서 심각하게 고민고민하다
무게도 엄청 무겁다는 부분에서 패쓰했었습니다. ㅎㅎ
인생의로망 2016-01
정말 어마어마한 시스텝을 구경하고 갑니다. ㅎㅎㅎ
송진현 2016-01
5베이 고장난거 탐나네요..
최천규 2016-01
파워 on 시 RAID Controller 가 HDD 에 대한 스핀들 on 을 하나씩 혹은 그룹별로 제어한다면 파워관련 문제는 없을듯합니다..
안세호 2016-01
실용적이면서도 창의적인 구성이네요. 생각을 바꾸니 다양한 형태로 사용이 가능한것 같습니다.
어마어마한 시스템 멋지네요!!
bobos 2016-07
헐 지끔까지 본것 중 이게 최고 네요 대단합니다. 입이 쩍 벌어짐
푸니 2016-09
대단 하십니다.


제목Page 47/63
2012-03   9822   앵글러
2012-03   10517   sinabro
2016-07   11619   박문형
2014-01   41775   sinabro
2013-10   41905   BMMen
2020-03   7565   두발로
2011-04   10474   김정중
2016-08   14552   맑은여름
2017-01   13496   박문형
2016-04   19696   박문형
2013-10   31592   박문형
2013-06   33440   박문형
2013-06   38876   이해하면오…
2015-07   9628   monan
2012-05   12469   sinabro
2014-12   22405   서울l승용
2013-10   35331   서동국
2013-06   57640   김수환무
2019-07   10969   원주늘품
2013-10   18190   박문형