[환경]
H/W : Tyan S7050GM4NR , 2670 x 2 , ASR-71605 , 10G nic (Mellanox ConnectX-2), ZM850-EBT
, HDD ( HGST HMS5C4040AL 4TB x 8 RAID 5 , 웬디 그린 잡다하드 8개 :: 4 4 3 3 2 2 2 2 )
S/W : ESXi 6.0 (HDD관련 모든 드라이브 최신)
, 잡다하드 6개를 각각 개별로 RDM 만들어 VM 하나에 연결했습니다. 윈도우 8.1이고요.
[문제증상]
윈도우 8.1이 설치된 해당 VM에 RDM 으로 연결된 8개 HDD는 각각 하나씩의 파티션으로 네트워크 공유시켜놓고
10g 직결로 연결된 메인컴에서 다수의 파일을 수시간동안 복사하는 경우 어느순간에 행이 걸립니다.
첫번째 행 걸렸을때 - http://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=433180&qstr=
한번은 그러려니 했는데 좀전데 한번 더 그런 상황이 발생하여 이번에는 원인을 분석해 봤습니다
우선 vmkernel.log 로그 내용은 다음과 같습니다.
2016-02-23T17:30:27.394Z cpu5:33189)<3>aacraid: Host adapter abort request (1,1,10,0)
2016-02-23T17:30:27.394Z cpu5:33189)WARNING: LinScsi: SCSILinuxAbortCommands:1882: Failed, Driver aacraid, for vmhba2
2016-02-23T17:30:27.394Z cpu5:33189)WARNING: ScsiPath: 7151: Set retry timeout for failed TaskMgmt abort for CmdSN 0x0, status Failure, path vmhba2:C1:T10:L0
2016-02-23T17:30:29.396Z cpu5:33189)<3>aacraid: Host adapter abort request (1,1,10,0)
2016-02-23T17:30:29.396Z cpu5:33189)WARNING: LinScsi: SCSILinuxAbortCommands:1882: Failed, Driver aacraid, for vmhba2
2016-02-23T17:30:29.396Z cpu5:33189)WARNING: ScsiPath: 7151: Set retry timeout for failed TaskMgmt abort for CmdSN 0x0, status Failure, path vmhba2:C1:T10:L0
구글신에게 물어보니 하드웨어나 소프트웨어 문제일수 있다 라고 나와서 (쩝....)
msm을 확인해 봤더니.
운영중 디스크를 뽑은 것 처럼 되어 있습니다;;;
당연히 hdd는 멀쩡하게 잘 붙어있고 아무것도 손 안대고 재시작 하면 정상적으로 붙어 있습니다.
이게 처음이면 그 디스크가 문제라고 생각 했을텐데
지난번에 동일한 증상이였을때는 장애난 디스크가 Scsi Device ID 11번이였습니다.
그때와 지금은 공통점은 그때는 11번 디스크에 백업(다수의 파일 복사)중이였었고
지금은 10번 디스크에 백업중이였었다는 것이죠.
그리고 동일하게 오류가 바로 난건 아니고 지난번에 대략 복사시작해서 2시간 정도.. 지금...은 4시간 정도 복사도중에
저렇게 디스크 연결해제(?) 현상이 발생한 것이였습니다.
재부팅 하면 돌아옵니다. 마저 복사도 잘 되고요.
참고로 asr-71605의 온도는 50~55 사이입니다. (지금 복사 이어서 하고 있는데 49도네요 )
hdd들도 앞에 쿨러들이 다 있습니다. 아주 쌩쌩 돌아가고 있지요.
파워는 제조사(잘만)엔지니어가 확인해준 내용으로 hdd를 20개 까지 장착 가능하다 하였습니다.
현재 hdd 16 + ssd 2 = 18개로 2개 여유네요
도대체 뭐가 문제일까요 ?
케이블 문제로 의심됩니다.
정품케이블인가요??
하드 갯수에 비해 파워가 모자를 확률도 있네요..
파워 스펙보니 5V /3.3V가 25A가 최대네요...
슈퍼마이크로 8베이 깡통도 5V/3.3V는 30A급인데..
http://www.2cpu.co.kr/bbs/board.php?bo_table=hojak&wr_id=345&sca=&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and
이런 깡통으로 바꾸는 것이 여러모로 정신 건강에 이로워 보입니다.
raid 5로 묶인 8개 hdd는 5700rpm이고요
그쪽은 vmfs에 씬 20t vmdk로 헤놀에 불륨생성되어 가장 대량으로 네트웍드라이브로 여러번 복사작업이 있었는데 한번도 장애 없렀고요.
나머지 잡다한 웬디 그린 hdd들은 전부 5400rpm 저전력 hdd들로서
이쪽고 raid 1으로 묶은 2t 두개 역시 대량복사 문제 없었습니다.
저번과 이번에 문제가 생긴건 아답텍에서 raw로 잡고
esxi에서 rdm으로 잡고 윈8.1에서 그대로 ntfs로 연결해서 네트웍드라이브로 복사하는 경유 꼭 문제가 생기는 군요... 바로는 아니고 몇시간 동안 복사하다 보면요.
말씀하신대로 유력한 범인은 전원일꺼 같긴 한데요.
아답텍 로그는 어떻게 뽑나요 ? 이것 부터 찾아봐야겠군요..
esxi에서 웬디 그린이 vmfs마운트 하면 3mb/s가 나와서 rdm으로 붙인건데 (rdm은 정상 속도) esxi가 웬디 그린을 엄청 싫어하는거 같기도 하네요;;;
웬디 그린 대기 모드 길게 하시던지
전원 의심하시던지
로그는 윈도우즈에서 관리 유틸을 설치하고 나서 뽑을수 있는데 공식 수입원인 앤디코 홈페이지 기술지원란에 보시면 알 수 있을 것입니다.
관리 유틸만 잘 보아도 모가 문제인지 대략 나올 듯합니다.
arcconf getlogs 1 event
arcconf getlogs 1 uart
이 두 명령어에 대해서는 반응이 한참동안 없다가
CIM Exception: Timeout (or other socket error) waiting for response from provider.
이렇게 나오는데 뭔가 심상치가 않은 것 같네요;;;
esxi 를 통해서 뽑아서 그런걸까나요.....
메인컴에도 asr-71605가 달려있는데 여기는 전부 로그 다 뽑아지고 내용도 잘은 모르겠지만 이상이 없어 보입니다.
오늘 밤에 웬디 잡다 하드들을 다 떼고 다시 로그 뽑기를 돌려봐야겠네요.
그냥 잡다 웬디 그린 하드들은 별도로 백업서버 구성해서 옮기는게 빠를지도 모르겠네요. 이거 영 불안해서 원....