서버 SSD 속도 저하 문제 때문에 골머리를 앓고 있는 1인입니다.
간단히 요약하자면, 삼성 SSD 850 Pro 1T를 RAID 1해서 사용하고 있는데, 일정 기간(대략 6개월?)이 지나면 SSD 속도가 느려져서 고민중입니다.
관련 글은 다음 링크를 참고하시면 됩니다.
http://www.2cpu.co.kr/QnA/683044
서버 구성 설명 시작합니다.
-------------------------------
현재 Dell R720과 T620을 사용하고 있습니다.
우선, 서버 구성은 다음과 같습니다.
- R720
- CPU: Xeon E5-2620 v1 * 2EA
- Memory: 128G
- SSD: 삼성 850 pro SSD 1T * 2EA (RAID 1)
(SSD RAID1 한 가상 디스크의 레이드 컨트롤러 정책은 Read Policy: No Read Ahead / Write Policy: Write Through / Disk Cache Policy: Enabled 입니다.) - RAID Controller: H710 (512M 캐시)
- HDD: HGST SAS 4T * 6EA (RAID 6)
- OS: Windows Server 2012 R2
- T620
- CPU: Xeon E5-2620 v2 * 2EA
- Memory: 128G
- SSD: 삼성 850 pro SSD 1T * 2EA (RAID 1)
(SSD RAID1 한 가상 디스크의 레이드 컨트롤러 정책은 Read Policy: No Read Ahead / Write Policy: Write Through / Disk Cache Policy: Enabled 입니다.) - RAID Controller: H710p (1G 캐시)
- HDD: HGST SAS 4T * 10EA (RAID 6)
- OS: Windows Server 2012 R2
두 서버 모두, 1T SSD의 사용량은 500G정도 됩니다. Over Provisioning도 273기가 정도나 한 상태입니다.
이 서버는 가상화 서버입니다. 모든 가상머신들의 OS는 SSD 영역에 배치해 두었고, 데이터 디스크로 HDD 영역에 배치해 두었습니다.
대략 서버 당 15~20개 정도의 가상 머신들이 돌고 있습니다.
대부분 서버는 몇 대 되지 않고, 대부분 개발환경을 구성해 놓은 가상머신들입니다. 일종의 데스크톱 가상화라고 보시면 됩니다.
이 서버들에게 그리 많은 부하가 걸리지는 않습니다. (하루 평균 약 18G의 쓰기가 발생되네요.)
-------------------
이제 질문 들어 갑니다. ^^
간장게장님 덕분에, 현재의 구성으로는 근본적인 문제가 해결되지 않을 것 같다고 느꼈습니다.
그래서 RAID 컨트롤러를 이용하지 않고, PCIe SSD를 윈도우의 Storage Space 기능을 이용해서 mirror 모드로 사용하려고 합니다. (그리고 이것을 스토리지 티어 기능으로 활용하는 것이지요.)
이렇게 하면 트림이 활성화 될 것이므로.. -간장게장님 자료에 의하면 그래도 문제가 될 것 같기는 하지만..- 지금보다는 훨씬 나이질 것이라는 기대를 갖게 합니다.
그래서 관련 제품을 찾던 중, 인텔 Optane SSD도 찾았고, 이곳 장터에서 IO Drive 라는 것도 찾았습니다.
다음과 같은 장/단점이 있습니다.
- 인텔 Optane SSD: http://prod.danawa.com/info/?pcode=5831271
- 장점
- 신품입니다.
- 엄청난 성능
- 엄청난 내구성: 5.8PBW 랍니다.. 크헉
- 단점
- 그래도 여전히 엔터프라이즈가 아닌, 소비자용 제품이라는 것
- 현 서버에 장착 가능한지, 불확실한 점 (2개 장착해야 하는데요..)
- 투자 비용: 총 3대의 서버가 있어서 200만원 정도 필요합니다..
- 장점
- Fusion-io ioDrive2 785GB PCIe SSD: http://www.2cpu.co.kr/sell/295865
- 장점
- 델 정품입니다.
- 엄청난 내구성: 16.26PB 랍니다. 크허허헉~
- 투자 비용: 총 3대의 서버가 있어서 114만원 정도 필요합니다. (그러나 중고인 걸 감안하면..)
- 단점
- SSD/HDD는 소모품에 가까운데 중고라는 점
- 이 판매글에 보면, 그림이 나오는데.. 단 한 장의 그림이긴 합니다만.. 'PBW ENDURANCE'라는 것이 나오고, 43%를 가리키고 있습니다. 그렇다면 6.9PB를 쓰기 했다는 것인데, 상당히 혹사당한 느낌입니다..
- 제조년이 꽤 되었다는 점: 1번과 비슷합니다. 2013년 내외로 추정합니다. 그보다 더 되었을지도요..
- SSD/HDD는 소모품에 가까운데 중고라는 점
- 장점
새 것을 원하면 Optane을 구입하는 것이..
델 정품을 원하면 ioDrive2를 구입하는 것이 나을 것 같습니다.
가격은 새 제품과 중고를 고려해 볼 때, 비슷비슷하다고 생각합니다.
용량도 많이 차이 납니다만, 어차피 Storage Space를 사용하고, SSD Tier로 사용할 것이기 때문에..
그리고 SSD Tier는 파일 단위가 아니고, 블럭 단위로 움직일 것이기 때문에.. 별 문제는 안 될 것이라고 생각합니다.
가장 중요한 판단 기준은.. 이제 좀! 서버 관리하는 데 시간을 적게 들이고 싶다는 겁니다.
그러니까, 사실 SATA3 SSD정도 성능으로도 전혀 문제 없이 사용했습니다. 성능 때문에 Optane을 사용할 필요는 없어 보입니다.
그것보다는, 지금처럼 문제가 자꾸 발생하면 안되는 것이 훨씬 더 큽니다. 이것에 쓰는 제 기회비용을 생각하면..
(뭐, 하드웨어 장애는 어쩔 수 없겠지만요..)
(그런데, 새로 알아가는 재미는 참 좋습니다. ^^)
제가 혹시 놓친 것 있나 해서, 질문글 남겨 봅니다.
2CPU 덕분에, 우리 회사는 아주 좋아졌고, 무엇보다 저렴한 비용으로 참 좋은 환경을 구성할 수 있었습니다.
어제 남긴 질문글(SSD 속도 저하 문제) 역시도, 다른 분들도 참고하면 좋을 내용으로 가득차 있습니다.
참 좋습니다, 2CPU!
2014년에 SanDisk 가 먹어 버렸네요..
인텔 SSD는 국내에서 구하기 어려울 때가 종종 있습니다..
그리고 어떤 제품이 판매중인지 잘 모를때가 많습니다.. (다나와에 안 떠 있어도 기업용으로 나가는 경우도 있기에)
그리고 현재의 옵테인에 들어간 기술은 인텔이 아예 손 털었습니다.
요새 생산되는 인텔SSD는 내구도를 보장할 수 없습니다.
NVMe SSD인데, NAND flash 기반이 아니라 optane 기반이라는 것이 다르죠.
NVMe SSD 되는 시스템이면 다 됩니다.
부팅용이 아니라 괜찮긴 하겠네요.
좋은 지적 고맙습니다~
https://www.google.com/amp/s/amp.reddit.com/r/homelab/comments/8rh1dg/nvme_storage_in_a_dell_r720/#ampf=undefined
저도 깜짝 놀랬네요~
이규섭 님은 예전에 나왔던 그 캐시로만 사용 가능했던 옵테인 메모리와 헷갈리셨던 것 같습니다.
그 옵테인 메모리는 데스크탑으로 치면 4세대인가 5세대 인텔 시퓨가 지원되는 보드부터 사용 가능했을 겁니다.
그리고 그 옵테인 메모리는7세대부터 지원하더군요.
R720에는 hot swap 베이에 U.2 들어가는 옵션도 있을 겁니다.
CSM과 UEFI
옛날 시스템에서는 UEFI 모드로 NVMe 부팅을 할 수 없습니다.
Legacy mode로는 부팅을 할 수 있습니다. Legacy mode로 부팅을 하려면 NVMe SSD에 boot bios가 들어가 있어야 합니다.
요즘 시스템으로는 두가지 모드 아무 것으로나 부팅 가능
옛날 시스템은 boot bios 들어있는 NVMe SSD만 부팅 가능
인텔 NVMe나 Samsung 950 pro는 bios 들어있는데, 다른 것들은 각각 확인을 해 보아야 합니다.
옛날 시스템에 boot bios 들어있지 않은 NVMe SSD로 부팅하려면 USB 같은 것으로 일단 잠시 부팅하여 드라이버 올리고 난 뒤 NVMe로 넘어가 부팅하는 식으로 해야 함
마이크론과의 3D XPoint 공동개발 계약을 갱신하지 않은 것은 이제 각자 따로 개발하겠다는 의사 표시지 옵테인을 포기한 것이 아닙니다.
인텔 체널쪽으로 제품 문의 메일을 띄워놨습니다..
간장게장님은 대략 무슨 말인지 아실 듯합니다..
뭔지 저는 눈치도 못 채겠는데요..
무척 궁금합니다. ^^
로드맵을 볼 때가 있습니다..
여러분들 선택을 참고하여 최종 결정 하겠습니다~
이미 950 pro에 overprovisioning까지 더한 상황에서 trim이 안되더라도 GC가 잘 작동해야 하는 것이거든요.
인텔 AHCI 포트에 꽂아서 software raid로 묶는다거나, NVMe SSD를 사용하면 trim이 작동은 할 것입니다.
그런데 그 작동한다는 것이 host인 Server 2012에서나 작동하는 것이지, guest인 가상머신에서 작동하는 것은 아니거든요. vhd 안에서 파일을 지워보아야 그게 host로 넘어와 trim이 작동되지 않는다는 것.
현재의 trim의 문제점입니다. 그래서 확장된 trim을 사용해야 한다는 논문을 앞서 답글에 링크했습니다.
그래서 다른 방법을 써도 큰 도움이 되지는 않을 것이라고 생각하시는 것이죠?
그럼에도 제가 PCIE가 해결책인 것으로 생각하는 이유는 다음과 같습니다.
1. vhd 안에서 파일을 지운 것이 host로 trim이 작동되지 않는다 --> 이것은 크게 상관이 없어 보입니다. 왜냐하면 vhd 안에서 파일을 지운다고 해서, 호스트의 vhd 파일의 해당 부분이 지워지지는 않습니다. 가상머신 파일시스템에서 해당 파일의 테이블을 지우는 것이고, 이것은 호스트 입장에서는 '변경'이 될 것입니다. 그리고 이것을 호스트가 모르지 않습니다. (vhd 파일은 DB파일 같이, 계속 증가만 합니다. 별도의 '축소' 작업을 하지 않는 한, 데이터가 삭제되더라도 그 크기는 변화가 없습니다.)
2. 이 문제가 논문에서 말한 것처럼 심각한 문제라면, 세계적으로 이슈가 되었어야 합니다. 850Pro를 RAID 1 해서 가상머신 호스트로 쓰는 사람이 얼마나 많겠습니까? 그런데 검색해 보면 별로 나오지 않습니다. 저는 매우 큰 불편함을 겪고 있습니다만, 큰 이슈가 되고 있지는 않습니다. 그렇다면, 우선 현재 사용하는 RAID 컨트롤러를 벗어나 보자는 게 우선순위가 됩니다.
3. 저희 서버는 일 18G 정도의 쓰기만 일어나는, 저부하 서버입니다. 해당 논문을 부정하는 것은 아닙니다만, 확장된 trim 문제로 인한 것은 아닐 것이라 봅니다. 오히러 컨트롤러와의 궁합 혹은 다른 문제가 아닐까 합니다.
그런데, 조금 더 자세히 설명해 주실 수 있을까요?
실제 어떤 상태였는데, S3520을 사용했더니 문제가 사라졌다 --> 이런 경험이 있으시다면 베스트 겠습니다.
S3520을 사용했는데, 그동안 문제가 있는 것을 본 적이 없다 --> 이런 취지라면, LSI 레이드 카드에 RAID 1해서 사용해 본 경험이 있으신지 궁금합니다.
제가 이 문제로 하도 골머리를 앓고 있던 터라.. 조금 더 자세한 설명을 해 주시면 정말 감사하겠습니다~
경험담 공유 고맙습니다.
S3520 고려해 보겠습니다.
그리고 캐시는 꺼 둔 상태입니다.
고맙습니다~
1. OS가 Windows 계열로 보이는데 뭘 쓰시는지 모르지만 MS에서 지원하지 않거나 지원이 중단되었을 확율이 높습니다. 당연히 벤더 지원은 없습니다.
2. Windows Hypervisor를 사용하신다면 아마도 지원 HW 목록이 있을겁니다. 아마도 Fusion IO는 그 지원 목록에 없을겁니다.
만약 VMWARE를 사용하시고 시스템이 중요한 시스템이라면 저라면 2가지 모두 사용하지 않을것 같습니다.
VMWARE가 지원하지 않는 HW들 입니다.
제가 장터에서 2개 사서 드라이버 다운로드 받아서 VMWARE ESXi애서 잘 사용했습니다.
대부분의 OS 지원 드라이버가 있습니다.
SAN DISK 사이트에 계정 등록하면 다운로드 받을 수 있습니다.
다운로드 받은게 2016년 6월 버전입니다.
이름은 scsi-iomemory-vsl-60L-3.2.14.1675-offline_bundle-3794031.zip이네요
dell support 링크는 판매 페이지에 있구요
전 직접 san disk에서 받아서 사용했던 버전 적었습니다.
저희 회사의 중요한 시스템이긴 한데.. 좀 모험적으로 운영중입니다.
고객과 직접 연결되는 시스템은 아니거든요.
그래서 서버도 중고로 구입하고, 뭐 그런 상태입니다.
지원 인증 받는 장치들은 비싸서, 잘 못 씁니다. ^^
이렇게 인텔 체널쪽에서 답이 왔습니다..
가격도 받았지만 오픈은 못하고요..
적용이 가능한지 확인해보시기 바랍니다..
===============================================
문의 제품은 아래와 제품 입니다.
SSDPED1D015TAX1 Intel Optane SSD 905P Series (1.5TB, 2/1 Height PCIe x4, 3D XPoint)
SSDPED1K015TA01 Intel Optane SSD DC P4800X Series (1.5TB, 2/1 Height PCIe x4, 3D XPoint)
참고해 주시기 바랍니다.
===============================================
Subject: Intel SSD 문의
안녕하세요 박문형 입니다..
새해 복 많이 받으십시오..
현재 구매 가능한 인텔 기업용 SSD 중에 1~2TB 용량에 옵테인 메모리로 된 PCIe 방식 제품이 있는지요??
Xeon E5-2670V2 듀얼 정도 되는 DELL R720 시스템에 돌아가면 됩니다..
그런데, 905P 같은 것은 무척 비싸서.. 일단은 고려 대상은 아닐 것 같습니다. ㅠ.ㅠ
위에 댓글들 있는데, 위 제품들은 R720에 돌아가긴 할 겁니다.
제품 크기 같은 것들 때문에, 장착이 가능하냐의 문제는 있을 수 있겠지만요.
고맙습니다~
지금은 종료되었는데 이것도 고려해 볼 수 있을 겁니다.
dell r720 t620이시면 장터에 enterprise 용 sas ssd도 있습니다.
SSD Raid에 H710나 H710P는 fastpath가 지원되려면 별도의 key를 구매해야 하는 것으로 압니다.
성능이 꽤 차이가 있습니다.
장비 구성을 추측해보면 R710은 8bay 보이고 T620은 12bay로 보입니다. 맞나요?
아마도 그래서 1T * 2로 레이드 구성을 한 것이 아닌가 생각됩니다.
hdd bay문제로 R720은 두개 장착한게 아닌가 합니다.
구축하신 환경이 제품 개발 Build 환경으로 생각됩니다.
그리고 raid1이니 결국 ssd 하나에 모든 io가 집중되는 구조이고 os 영역이니까 hdtune 같은 hdd 모니터링 보시면
idle시에도 4/8k 처리가 가장 많습니다.
개발 빌드 환경이면 소스 파일 컴파일이면 더욱더 4k 처리가 중요합니다.
하지만 데이터는 별도의 디스크에 둔 것으로 설명하셔서 컴파일이 os 영역에서 일어나는지 잘 모르겠습니다.
개발 환경인 것인지 잘 모르구요.
결국 초당 iops가 중요한데 https://www.storagereview.com/samsung_ssd_850_pro_review 보시면 workstation worload에 해당하려나요!
4만 언저리입니다. 사양에 나오는 10만은 아닙니다. Burst시의 수치입니다.
그리고 벤치를 자세히 보시면 queue와 thread 수에 따른 결과입니다.
흔히 보시는 Atto나 CrystalDiskMakr에 나오는 그런 테스트 결과로 consumer용에 맞게 테스트된 자료입니다.
장터의 fusionIo 판매 글에 벤치 자료가 링크되어 있습니다.
https://www.storagereview.com/fusionio_iodrive2_mlc_application_accelerator_review_12tb
여기 자료보시면 360분 테스트한 자료가 있습니다.
처음 20분 언저리까지의 수치가 스펙상의 수치입니다. 4k 쓰기가 8만 iops를 유지합니다. HP oem은 더 좋습니다.
850 pro는 1~2만 근처가 아닐까 생각됩니다.
개인적으로 850 pro 512 * 4 RAID 0 로 슈마보드 내장 lsi 9361-8i 2g에 물려 있는데 이 기회에 IOMeter로 30분 정도 테스트해봐야 겠습니다.
15~20개 vm의 os만 설치된 것으로 275g overprovisioning하고 예시로 캡처한 화면의 vhdx 파일의 크기가 20g면
대략 전체가 500g 정도로 생각됩니다.
그리고 대략 6개월 정도 4/8k 위주의 쓰기가 지속적으로 발생하면 다른 글에서 논문 인용된 글에 보면 동일 블럭에 여러 vm의 데이터가 섞여서
기록될 것으로 보입니다.
최신 ssd나 기업 전용 고가 ssd들은 아마 해당 논문을 인용한 글처럼 그런 저하가 많이 발생하지 않을 듯합니다.
2014~5년 자료이니까 그 전에 출신된 comsumer용 ssd가 대상인 것으로 보이고 그 이후에 nand flash도 약간 발전하고 controller도 새로운 것이 나왔으니까요
게다가 nvme는 테스트 대상도 아닌 듯합니다.
저라면 성능을 위해서 장터에 저렴하게 판매되는 fastpath 기본 지원되는 lsi-9271 카드를 구매해서
장착하고 RAID1 : ssd 1t * 2 => RAID 10 : 512g * 4로 하겠습니다.
제가 더 선호하는 방식은 raid0 512g * 4, 3중 백업 구축입니다.
그리고 서버간에는 10g 직결로 백업 장비에 연결합니다. r720, t620에 남는 slot이 많습니다.
장터에 저렴한 10g카드가 많습니다. 저도 장터에서 3~4만원대 4장 구해서 구성했습니다.
만약 장애 발생시 임시방편으로 하드디스크 영역으로 restore해서 다시 올리는데 10g 속도로 복사하는까 재 구성에 기동까지 1시간 내외로 가능할 거 같습니다.
개발 환경을 r710 x5690 * 2, 144g memory, mx300 525g * 6개 H700 512m raid0로 1년 반이상 잘사용중입니다.
데이터는 또다른 서버는 sas 2t hdd * 6 RAID 5며 이걸 10g로 nfs mount 사용합니다.
좀비 ssd인거 같습니다.
백업은 Windows 2016서버 두대가 있습니다.
메인이 esxi 2대라서 free version Vembu 백업 사용해서 주단위 백업을 자동으로 일요일에 하도록 했습니다.
라이브 마이그레이션은 veeam free version 사용합니다. 백업 스케쥴링은 유료 버전만 지원해서 Vembu씁니다. Nakito였던거 같은데 2vm만 free 버전에서 지원해서 Vembu 씁니다.
실제 운영중인 VM은 서버당 대략 10~15정도 왔다갔다 합니다.
ssd전용로 구성된 서버에 빌드 VM들이 전부 다 있습니다.
java/c/c#/qt 빌드 VM들이 있고 svn/git은 다른 서버에 있습니다.
백업은 별도로 백업 서버에 합니다.
CI Jenkins 쓰기 때문에 속도가 중요해서 raid 0쓰고 백업은 2차까지 합니다.
제 개인 pc에 3차 백업합니다. 제 PC가 사양이 제일 좋습니다. 그리고 엄청난 모험을 많이 합니다.
SSD 전용 Build 서버쪽에 장애난 적이 없지만(HDD쪽 서버엔 발생했습니다) 발생하면 중요한 Build VM은 백업에서 HDD 전용에 restore 해서
운영하고 장애난 SSD 서버 복구해서 Veeam으로 live migration 합니다.
제가 비용만 있다면 시험적으로 해볼려는 구성은 사과장수님이 파시는 nvme 아답터와 pm861입니다.
2개 이상구매해서 ssd, nvme, hdd로 스토리지 구성하는 것입니다.
개인적으로 새로운 환경 구성을 테스트를 종아해서 Windows 2019 DataCenter Server를 Evalution으로 main 개발 pc로 사용중입니다.
6개월 후에 다시 설치하면 되고 주로 자바 개발이라서 설치하는 프로그램도 그다지 많지 않습니다.
최근에는 nvme를 더 빠른 tier로 쓰고 ssd는 그 중간으로 cold 데이터는 hdd로 쓰는 구성입니다.
준비를 위해서 장터에서 Asus hyper m.2 x16에 sm861 512g 하나와 pro 960 1t를 장착해 두었습니다.
보드가 X299가 아닌라서 Intel의 VROC 구성은 할 수 없지만 bifurcation 지원하는 보드라서 PCIE slot을 4x4x4x4 모드로 설정하면
개별로 동작합니다.
개별로 ssd tier하고나 softraid도 가능합니다.
hdd와 nvme 티어링 구성해서 단순 DISK BenchMark와 복사 테스트만 했습니다
티어링 때문에 테스트를 할수록 성능 증가했습니다.
VM이 많지 않아 그냥 활용하는 것이 더 좋을 듯해서 개별로 사용중입니다.
비용이 있다면 Intel NVME SSD DC P3700 2T 짜리도 좋습니다.
실제 적용보다 테스트를 많이 해서 중고로 ebay 에서 종종 사는데 대략 600$면 구입 가능합니다.
회사에서 구매만 해준다면 지금 개발 환경을 Enterprise SAS SSD로 교체해서 RAID 5구성으로 하는 것입니다.
개발 빌드 서버라서 많은 workload가 안 걸리기때문에 최적의 선택이 될 듯 합니다.
장터에서 연식은 됐지만 저렴했던 hgst sas SLC SSD 200g 3개로 RAID0 구성해서 테스트했습니다.
850 pro raid0 * 4와 이 구성을 테스트했는데 일정 이상의 용량을 복사하면 850 pro 쪽은 속도가 줄어듭니다.
slc 3개 구성은 전체를 다 채워도 큰 속도 저하가 발생하지 않았습니다.
지금 개발 작업이 마무리되서 시간이 되면 IOMeter로 850 pro raid와 slc 200g raid 테스트를 해봐야 겠네요
추가 구매하려했는데 남은거 8개를 전부 한분이 구매하신거 같습니다.
마지막 구성은 CacheCade 구성입니다.
제가 테스트한 것은 SAS 4T * 12 RAID + SLC SSD 200G * 3 RAID0(장터에 남았으면 4개 raid5 구성) CacheCade 설정입니다.
LSI 9280-16i4e에 ebay에서 cachecade 키 구매해서 장착하고 테스트 했습니다.
아무런 고민없이 사용했던 거 같습니다.
OS 영역과 Data 영역 구분없이 통으로 크게 할당해서 테스트했습니다.
디스크쪽만 raid6로 변경하면 장애에 더 잘 대처가 될 듯합니다.