C6509 부팅중 에러.. ㅠㅠ

강명호   
   조회 13954   추천 3    

C6509 장비 두대를 VSS 로 묶어서 사용중이었습니다..

네트워크에 원인 미상의 장애가 발생하여.. 상단으로 연결된 L4 스위치들과의
LB 문제 유발로 상호 점검을 했으나.. 특이점이 없어서..

각 장비들 전부 재부팅을 했고..
마지막으로 재부팅을 한게 VSS 백본이었습니다..


1,2 번 장비를 모두 끄고...
1번을 부팅 -> 정상 부팅

1번이 액티브 되고.. 2번을 켜셔 장비끼리 통신을 하고 부팅을 시키려 하는데..
에러가 뜨면서 계속 재부팅이 되네요..

00:00:24: %PFREDUN-6-ACTIVE: Initializing as ACTIVE processor for this switch

Active crashed three times, disabling auto-boot and dropping to rommon


Crashdump : 14:15:23.776  Tue May 20 2014 : ios-base : (PID=12311, TID=4) : -Traceback=(s72033-advipservicesk9_wan-2-dso-b.so+0x51BAEC) ([37:0]+0x51DBE0) ([37:0]+0x521420) ([27:-9]3+0x2CCC78) ([37:0]+0x2D94A0) ([27:-9]6+0x138B1C) ([37:0]+0x138AF4)

crashdump called (with pause = 0 sec)


%ALIGN-1-FATAL: Illegal access to a low address 14:15:23 UTC Tue May 20 2014

 addr=0x0, pc=0x72AB55EC, ra=0x72AB551C, sp=0x323EB88

SLOT0:00:00:24: %DUMPER-3-PROCINFO: pid = 12311: (sbin/ios-base), terminated due to signal SIGSEGV, Segmentation violation (Address not mapped)

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             zero     at       v0       v1

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R0   00000000  7A221568  00000014  00FBCFC0

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             a0       a1       a2       a3

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R4   00000000  00FBCEC0  00000000  00000000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             t0       t1       t2       t3

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R8   00000000  00000000  00000053  00000025

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             t4       t5       t6       t7

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R12  00000000  72A30B00  FFFFFFFF  728F8000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             s0       s1       s2       s3

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R16  0323EE48  0323EE78  00000000  00000000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             s4       s5       s6       s7

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R20  00000000  00000000  00000000  00000000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             t8       t9       k0       k1

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R24  0323EA88  70CD5040  00000000  00000000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             gp       sp       s8       ra

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R28  7A05E710  0323EB88  00000000  72AB551C

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             sr       lo       hi       bad

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R32  1000FC63  00000000  00000001  00000000

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:             cause    pc       epc

SLOT0:00:00:24: %DUMPER-3-REGISTERS_INFO: 12311:   R36  00000000  72AB55EC  00000000

SLOT0:00:00:24: %DUMPER-3-TRACE_BACK_INFO: 12311: (s72033-advipservicesk9_wan-6-dso-b.so+0x1BD5EC) (s72033-advipservicesk9_wan-2-dso-b.so+0x51BAEC) (s72033-advipservicesk9_wan-2-dso-b.so+0x51DBE0) (s72033-advipservicesk9_wan-2-dso-b.so+0x521420) (s72033-advipservicesk9_wan-3-dso-b.so+0x2CCC78) (s72033-advipservicesk9_wan-3-dso-b.so+0x2D94A0) (s72033-advipservicesk9_wan-6-dso-b.so+0x138B1C) (s72033-advipservicesk9_wan-6-dso-b.so+0x138AF4)

SLOT0:00:00:25: %DUMPER-6-BAD_PATH: 12311: Choice 1 either not configured or bad path. Trying next choice.

SLOT0:00:00:25: %DUMPER-6-BAD_PATH: 12311: Choice 2 either not configured or bad path. Trying next choice.

SLOT0:00:00:25: %DUMPER-6-BAD_PATH: 12311: Choice 3 either not configured or bad path. Trying next choice.

SLOT0:00:00:25: %DUMPER-3-DUMP_FAILURE: 12311: Core dump failed: Could not create core

SLOT0:00:00:26: %DUMPER-3-CRASHINFO_FILE_NAME: 12311: Crashinfo for process sbin/ios-base at bootflash:/crashinfo_ios-base-20140520-141523

SLOT0:00:00:26: %SYSMGR-3-ABNORMTERM: ios-base:1 (jid 74) abnormally terminated, restart disabled

SLOT0:00:00:26: %SYSMGR-6-ERROR_EOK: ios-base:1 (jid 74) mandatory process exited, rebooting


하... 뭔가 심각하다는게 본능적으로 느껴지는데 

시스코 엔지니어분들 계시면 조언 부탁드리겠습니다..

악땅 2014-05
혹시 2번 6509를 먼저 부팅시켜 보셨나요?
1번을 꺼둔상태에서 2번을 부팅시켜서 2번이 정상 부팅이 되어 active가 되어 정상작동한다면 2번스위치의 심각한 문제는 아니고 1,2번 스위치끼리의 싱크나 기타(L4나 뭐 등등..자세한 컨픽을 모르니...) 연동이 안되는 상황이겠구요..
2번 단독으로도 저런 상태가 계속된다면 vsse모듈이 이상이 생긴듯 합니다.
6509 정도면.... 유지보수업체 있으실태니.. 얼른 오라고 하세요...
     
강명호 2014-05
먼저는 아니고 따로 부팅은 해봤습니다만 여전히 안되더군요.
다른 샤시에서 테스트를 하기 위해 슈퍼바이저 모듈를 빼서 보냈네요..
버리심이.... 흐흐흐
psj1050 2014-06
Log file 을 대충 보아하니 ... Crashdump 가 발생 된듯 하네요 .. Cisco 로 정식 Case-open 을 하여야 원인을 해결 해야 할듯 싶습니다.
 
Crashdump 는 보통 NVRAM 이나 SUP FLASH disk 에 있으니 Crashdump 를 TFTP 를 통하여 채취 하신뒤 CISCO 에 문의 해보는 것이 현명 할듯 합니다.

위의 사항은 어디까지나 .. 유지보수 업체 업무 AREA 이오니 즉, 유지보수 업체를 잘이용하시길 바랍니다.
     
psj1050 2014-06
참고로 Crashdump는 장비상의 Hardware 또는 software 의 결함이 발생되어 오동작이 발생 되었을때, 장비 스스로 장비 상태를 TXT 파일을 생성하여 보다 빠른 장애원인을 해결하기 위한 process 입니다.


제목Page 105/107
2014-05   11381   서울사람
2014-05   8660   이태욱
2014-05   13955   강명호
2014-05   28630   눈빛마음
2014-05   12263   권영현z
2014-05   12742   눈빛마음
2014-05   11356   김은호
2014-05   13450   s김종화z
2014-05   10032   김장우
2014-05   9214   s김종화z
2014-05   7717   회원K
2014-04   11823   s김종화z
2014-04   11375   회원K
2014-04   9841   s김종화z
2014-04   8754   권영현z
2014-04   7395   회원K
2014-04   19144   Nicoffeine
2014-04   6405  
2014-04   9371   s김종화z
2014-04   13178   황혼을향해