현재 내부 전산 서버를 IDC 코로케이션하여 운영하고 있습니다.
1230 v6에 32GB, 500GB SSD(Q300) 정도의 스펙을 사용중에 있는데, top로 모니터링 진행 시 아래와 같은 문제가 발견됩니다.
- 사용량에 관계없이 CPU 로드율이 60~61% 로 고정됨
사용 유저 수가 약 130명 가량 되어서 사용이 몰릴때에는 이 보다 더 로드율이 나와줘야 한다고 생각하는데 고정되어서 움직이더라구요.
혹시나 서버 업체에 발열로 인한 쓰로틀링이 발생하는 것인지, 별도 스케쥴러가 설정되어 있는 것인지 문의해봤지만 문제는 없다고 합니다.
이 업체가 쌓인 캐시 메모리 가지고 메모리 용량 부족하다고 증설해야 한다고 말한 곳이라 내부적인 신뢰도가 높진 않은데.. 위와 같은 현상 겪어보신 분들 계실까요?
바로 경고 메세지 뜨고 Alert 가 뜹니다.
=> PC나 쓰로틀링 걸리면서 자신을 보호하는 것이죠.
서버에서는 이미 Over Working 으로 시스템 오동작에 포함됩니다.
서버 냉각에 문제가 있어 .. 그 다음은 조치될때가지 부팅을 않할것입니다.
500GB SSD(Q300)==> 기대 수명 2년 이하입니다.. 잘 죽고요.. 그냥 사라집니다.
서버의 데이터베이스는 뭘까요 ?? 이게 가장 중요합니다
오라클이라면.. 아니면 MS-Sql 이라면 ??
그것이 서버의 길이죠.
서버 이중화 하세요.. 위험해 보이네요.
해당 서버에서는 SQL이나 MariaDB를 직접 구동하지 않고, DB전용 서버가 별도로 따로 있으며 내부망으로 데이터를 주고받는 구조로 사용하고 있습니다.
혹시 파일 서비스 같은 것을 주로 하시는지요??
허약한 E3 CPU에 I/O 부담을 줄이시려면 PCI 슬롯이 여유가 있으시면 PCI RAID CARD로 따로 붙여서 CPU 부담을 줄이는것도 한방법입니다.
E5로 가시더라도 I/O는 PCI HW RAID CARD 로 하셔서 RAID 구성이 아니더라도, JBOD 싱글로 구성하셔도 되니, CPU LOAD를 줄이실 수 있습니다.
아무리 짭제온이 별로라도 ㅈ정도는 아니라고 봅니다
그리고 대게 ㅈ런 작업은 스레드 나누질 못하니 클럭 낮은 e5가 더 불리할 수 도 있습니다
Unbuffer ECC 메모리는 리테일 시장에서 DDR3 때에는 그나마 좀 구했는데 DDR4에 와서는 거의 구하지를 못합니다..
DDR4 UDIMM 전에 컴X존에서 주문했었는데 혹시 요즘은 재고 없나요?
용도랑 지금 용량 고려시 그렇게 대용량이 필요한것도 아니고, 16기가 2~4개정도만 꽃으면 될꺼같아보입니다 (어차피 짭제온 슬롯 ~4개고, 스카이면 상한 64기가일꺼에요)
옛날에 삼성 DDR3 Unbuffer-ECC 8GB 12800 2400개 (서버 600대분) 구할 때도 국내 업체를 통해 B2B로 해서 구했는데
그거 구하고 나서 전세계 재고가 앵꼬가 났었던 기억이 있습니다..
DDR4 Unbuffer-ECC 는 DDR3때보다 수요가 더 적고 최소 25개 한판때기 주문해야 수입이 가능하기에 이래저래 쉽지 않습니다..
B2C 에서는 컴퓨존 정도 되는 대형 유통업체 통해야 가능합니다..
본래 서버 메모리 전문 유통 업체는 소비자에게 직접 안 팔거든요..
E3-1230V6 페밀리는 E3 페밀리로 일명 짭제온이라고 불렸던 것입니다..
그리고 계속 파일이 움직인다면 디스크 I/O 쪽을 좀더 강화하셔야겠네요..
970 Pro 1TB 가 서버에서 2년 정도의 수명 였어어..
980 Pro 1TB 는 Tlc 라 그 절반정도 수명이겠죠.
그래서 이렇게 하면 않되고..
SAS SSD Enterprise 800GB x 4개 나 6개로
RAID 10 이나 RAID 6 로 잡아주세요.
TLC SSD를 어떻게 믿고 단일 드라이브로 쓰시나요.
이러면 않되요.. SSD는 하드보다 내구성이 많이 약해요..
-- 참고만 하세요.. 의견입니다. ---
웹서버는 이미 구입을 완료해버려서..
일단 db에 민감한 응답속도가 넘사벽이고, 어지간하게 묶어도 저런넘 단일보다 느려요
카드 나올때 마다 욕심이 불끈 불끈 합니다.
SAS SSD는 편의성이 워낙 좋죠..
일단은 서비스 서버들은 응답성 Latency 가 가장중요해서..
그리고 유지보수 편의성도 고려하고요.
내구성 .. 장터에 보면 20PB TBW 나오는 물건들이 있어요..
이것들이 예술이죠..
SAS 12Gbps 라 전송속도도 예술이구요.
다만 PCIe x4 or x8 2개를 처묵거려서 짭제온 (특히 스카이같은 구형)에겐 조금 문제가 됩니다 (다른거 달기 힘들어짐) (파일 서버니 10기가를 달거나, 기타 다른 용도의 확장 카드 달아야하는데, 슬롯 꽉 차서 기컷해야 x1정도 남음)
그리고 OS가 리눅처럼 자체적으로 RAID 지원 안 해주면 보드가 지원해줘야하는데, 짭제온은 아마 해당 없어요
위 문제 해결할려면 서버자체를 교체해야하니 일이 너무 커지니 그나마 1개라도 달아서 갈아타는게 현실적이라 봅니다 (1개만 달아도 저런 SSD보단 횔씬 안전)
저거땜에 장터 수시로 들락거리면서 테라당 10만정도 되는 애들 보일때마다 지를까말까 고민하게 되네요 (이미 몇개 지름)
내구성은 엔터로 넘어오면 SATA 저가형도 다 쓰기 힘든 수치 제공하니 패스합니다 (현실적으로 TBW 0.5도 다 쓰기 힘듬)
참고로 12G 인터페이스 써도 아마 디스크 속도는 그것에 크게 못 미칩니다 (그리고 12기가 해봤자 AIC의 절반 수준이죠) (5기준 4~5개정도 묶어야 2배정도 나오고, 이조차 컨트롤러 성능이 받쳐줘야하는걸 고려하면 이정도 차이면 매우 큽니다) (물른 12기가만 나와도 보통 넘쳐흐르는 성능입니다)
예를 들어 WAS의 세션 풀 갯수가 너무 작다던가 이런 설정을 확인해보셔야 할 것 같네요.
BIOS 의존적인 장치중에 I/O부하가 생긴것인지, PROCESS 중에 가끔씩 히트치고 반환안되고 좀비로 가는게 있는지
몇시간정도 관찰로그를 살펴보시는것도 좋을것 같습니다.
linux watch 5초간격으로 + cpu load 상위 랭크 20위까지 txt 로깅
Process 감시
# watch -d -n 5 'ps -eo pcpu,pid,user,args | sort -k 1 -r | head -20 >> /tmp/cpu_process_load_log.txt'
I/O 감시
# iostat -m 3 (3초 간격으로 MB/s 성능표시)
Load average 감시
# htop
I/O가 왠지 의심되기도 하는데 top 외에도 해당 명령어들로 추가적으로 확인 해봐야 겠네요. 유저들이 너무 느리다고 불만이 너무 많아서 스트레스가 이만저만이 아닙니다..
단순히 로드율이 높다고
사용자가 느림을 호소하진 않습니다
Top 확인시 어떤 프로세서가 많은 점유율을 찾이 하는것인지
구동되는 소스는 왜 느린건지
최적화가 필요친 않은지
디스크 io는 문제 없는지
130명이 동접시 네트웍 대역은 충분한지등의
전반적으로 확인해서
병목이 되는 부분을 해소해야지
단순히 하드웨어만 높이는것이 답이 아닙니다
물론 이런것들도 노하우다보니
몇번 겪다보면 눈에 보이기 시작할것이고요
잘 해결되시길...
60%면 여유 없는것도 아니니까요 (물른 스레드 분리 안 되는 작업이 문제면 좀 더 고클럭 시퓨가 필요할지도 모르지만, 서버 용도나 규모 고려시 엉뚱한 문제라고 봅니다
하드웨어적 고장이나 악성코드 감염같은것도 고려해볼만하다고 봅니다