현재 회사에서 스토리지 서버(Centos)가 있습니다. (12bay 4T HDD)
이 서버가 리눅스로 이루워진 클라이언트 장비(약200대)에 nfs 로 연결되어 있습니다.
클라이언트에 각각 시뮬레이션이 돌아가고 돌아갈때마다 스토리지 서버에서 데이터를 가져와서 작업을 하고 작업이 다 끝난 파일을 스토리지 서버에 복사하기도 하는 작업을 합니다.
파일 용량은 큰것들은 몇기가짜리도 있고 작은 파일은 1x kb 정도 됩니다.
이러다 보니 작업 하다가 특정 작업이 네트워크 과부화가 걸리면 전체 네트워크가 행이 걸려버리네요.
이걸 개선을 하기 위해서 여러가지 알아보고 있습니다.
그래서 SSD 스토리지 혹은 SAN 혹은 다른 대안이 있나 알아보고 있는데 쉽지가 않네요.
모든 네트워크 구간은 1G로 되어 있습니다. 스토리지 서버는 본딩을 해서 3G로 늘려놓은 상태이긴 합니다.
많은 의견 부탁 드립니다.
첫질문
http://www.2cpu.co.kr/QnA/690612#c_690614
-- 추가 --
네트워크 행이 걸릴때는 NFS 로 연결되어 있기 때문에
클라이언트(모든클라이언트 공통)에서 /data/storage 접근에서 작업을 해야 하는데
스토리지가 행이 걸린 상태라 /data/storage 접근 할때 딜레이가 발생 합니다.
이러다 보니깐 전체 대역이 아닌 스토리지가 연결되어 있는 nfs 대역만 행이 발생 합니다.
-- 추가2 --
서버 spec
RAM : 8GB
Raid Card : LSI RS2BL040
-- 추가 3 --
1년치 장비로그 입니다.
카드 하나당 하드 4개씩 해서 3그룹으로 만들어 사용 하심이..
아니면 카드 4개에 하드 3개씩도 좋을듯 합니다.
아답택에서는 4개까지 못박았고 LSI는 보드가 허용하는데까지라고 하는데 실제 해보면 3-4개 정도가 최대입니다..
카드가 3개면 디스크 볼륨은 3개로 쪼개지지만 서버에서 디스크 I/O 대역폭이 PCIe 8x 에서 PCIe 24x 로 늘어날 수는 있습니다..
순전히 대역폭이라 실제 스토리지 퍼포먼스는 다릅니다..
그리고 웃기게도 캐쉬 메모리를 엄청 크게 달 수 있는 카드는 아레카 입니다..
크다고 다 좋은 것은 아니지만요..
그리고 200대를 대략 어떤 식으로 네트웍을 구성하셨나요??
다른 회사와 마찬가지로 라우터 + 스위치로 구성되어 있습니다.
HP나 시스코쪽에서 나오는 반 장롱급 데이터센터용 백본 스윗치쪽을 생각해보시는게 어떨런지요??
강조합니다. 절대로 전체 Network Hang 걸리지 않습니다.
일단 NFS를 사용하시는 걸 보면 Client OS는 Linux라 예상합니다.
Client 200대면 NFS 서버 1대가 감당하기에 좀 어려울 수도 있습니다. 그렇다고해서 감당 못할 정도의 수준도 아닙니다.
Client 수량이 많을때는 다음과 같은 방법이 있습니다.
1. 예산이 허용한다면 NetApp으로 바꾸세요. NetApp이 최대의 성능을 뽑아주는 NAS는 아니지만 많은 동접을 잘 처리 합니다.
예산이 좀 더 허용한다면 OnTap 사용하시구요
2. Storage Server의 OS를 Windows Server 2016을 검토해 보세요.
Windows Server 2016에 있는 NFS 서버가 의외로 좋습니다. (혹시 안티 거실분 있으면 직접 테스트 해보시고 거세요. 300-500명 NFS 사용자를지원하는 시스템들 국내에도 꽤 있습니다.)
Storage (스토리지서버 아님) 로서 제공해야 하는 여러가지 기능을 제공하지는 않지만 단순한 File Service로 사용하기에는 나쁘지 않습니다.
3. BSD 운영이 가능하시면 ZFS도 대안이 될 수 있습니다.
Ubuntu에 있는 ZFS.ko 좋습니다.
장터에 있던 FusionIO 2개 또는4개 잡아서 Cache로 설정하시면 매우 매우 쓸만 합니다.
3.1. 저는 개인적으로 ZFS 관리를 못할사람은 사용해서는 안되는 시스템이라고 말을합니다.
혹시 예산이 되시면 NexantaStor License DC 잘밥아서 사용해 보시는것도 좋을것 같습니다.
4. Lustre나 Gluster/Ceph 같은 분산파일 권장합니다.
이넘들이 구조상 1000-2000대 Client 지원하는데 전혀 부담이 없습니다.
공개 SW이기 때문에 정말정말 예산은 없는데 필요하시면 해볼만 합니다.
다만, 문제가 발생하면 데이터를 몽땅 날릴 수 있기 때문에 모르시면 절대 사용하지 마세요.
Ceph/Gluster는 REDHAT에서 subscription으로 구매/지원 받을 수 있기때문에 나름 나쁘지 않습니다. 저렴하진 않습니다.
1번은 예산이 그리 많지가 않아서 힘들듯 하고요.
2번은 제가 경험해본봐로 MS 제품이 네트워크 공유에 대해서 문제가 많아서 리눅스 계열로 넘어왔습니다.(라이선스문제도 있고..)
3,4 번 확인 해봐야 겠네요.
gluster를 운영 많이 해보셨는지요? 제가 실력이 부족하여 발생한 문제겠지만 해결 하지 못핬고 차선택을 선택 했었습니다.. gluster에서 단일 디렉토리 안에 파일이 많으면 파일 list를 하는 시간이 너무 오래 걸리더군요. 디렉토리당 대략 1~3만개 가량 이었습니다. 혹시 이 문제를 해결할 방법이 있는가요?? 자그만한 팁이라도 알고 싶습니다. 가르침을 주시면 영광입니다.
gluster는 구조상 listing이 느린건 답이 없습니다. ls -r 등이 들어가면 더 답이 없습니다.
사실 gluster뿐만이 아니라 분산파일 시스템들이 공통적으로 가지고 있는 한계입니다. 물론 일부는 좀 더 잘합니다.
트릭이 있기는 한데 SAMBA-Gluster option이 있습니다.
이를 사용하면 SAMBA에서 gluster directory listing에 대한 cache를 가져갈 수 있게 할 수 있습니다. 그러면 좀 빨라집니다.
사수없이 혼자 하다 보니 힘들었는데..감사합니다.
정말 많은 도움이 되었습니다.
다시 한번 감사드립니다.
즉 라이트와 리드를 동시에 하다 보면 캐시를 지우고 새로 로딩을 하던 라이트를 하던 해야되는데요.
큰 파일 라이트가 있을때 작은 파일 로딩과 라이트가 생기다보면 큰 파일 라이트 주소 정리가 필요 하다보니 새로 자료를 리빌딩 합니다.
그러다 보면 흔히 말하는 하드랙이 걸립니다..
유닉스 계열에 옛날부터 이런문제가 종종 있었습니다..
아주 옛날 83년도 경험입니다.. 하하하
현재에도 그런 현상이 있습니다. 하하하
그래서 hdd컨트롤러를 여러개 추가 하시는것이 그런 현상을 좀 줄일수 있을듯 합니다만..
Client에서 뿜어대는 데이터가 lock에 민감하지 않으면 SAMBA도 검토해 보세요.
SAMBA가 Client단의 Cache를 잘하기 때문에 큰 시스템에서는 경우에 따라서 더 원할하게 서비스를 제공할 수 있습니다.
저희 일본 고객중에 일본 53개 지역, 1,500명정도가 동시에 사용하는 시스템이 있습니다.
SAMBA로 서비스 중인데 5년 4개월째 무정지 서비스 하고 있습니다.
1. 정말 네트워크의 속도가 느려서 인지?
2. 느린 디스크 i/o 때문인지?
스토리지 서버 CPU 부하가 계속 50% 이상인지
랜포트 3개 3G가 계속 부하가 100% 로 올라가서 문제인지 (대역폭 확장 필요)
실제 사용량은 랜포트 1개 분인 1G 정도 인지 (엄청 많은 여러개의 패킷이 엉긴 것이라 라우터나 허프 퍼포먼스 증강 필요)
올려주신거 보면.. 하드나 ..
네트워크 대역폭 남아도는거 같은데..
cpu 도 놀고 있고 ..