현재 Dell R720과 T620을 사용하고 있습니다.
우선, 서버 구성은 다음과 같습니다.
- R720
- CPU: Xeon E5-2620 v1 * 2EA
- Memory: 128G
- SSD: 삼성 850 pro SSD 1T * 2EA (RAID 1)
(SSD RAID1 한 가상 디스크의 레이드 컨트롤러 정책은 Read Policy: No Read Ahead / Write Policy: Write Through / Disk Cache Policy: Enabled 입니다.) - RAID Controller: H710 (512M 캐시)
- HDD: HGST SAS 4T * 6EA (RAID 6)
- OS: Windows Server 2012 R2
- T620
- CPU: Xeon E5-2620 v2 * 2EA
- Memory: 128G
- SSD: 삼성 850 pro SSD 1T * 2EA (RAID 1)
(SSD RAID1 한 가상 디스크의 레이드 컨트롤러 정책은 Read Policy: No Read Ahead / Write Policy: Write Through / Disk Cache Policy: Enabled 입니다.) - RAID Controller: H710p (1G 캐시)
- HDD: HGST SAS 4T * 10EA (RAID 6)
- OS: Windows Server 2012 R2
두 서버 모두, 1T SSD의 사용량은 500G정도 됩니다. Over Provisioning도 273기가 정도나 한 상태입니다.
이 서버는 가상화 서버입니다. 모든 가상머신들의 OS는 SSD 영역에 배치해 두었고, 데이터 디스크로 HDD 영역에 배치해 두었습니다.
대략 서버 당 15~20개 정도의 가상 머신들이 돌고 있습니다.
대부분 서버는 몇 대 되지 않고, 대부분 개발환경을 구성해 놓은 가상머신들입니다. 일종의 데스크톱 가상화라고 보시면 됩니다.
이 서버들에게 그리 많은 부하가 걸리지는 않습니다. (하루 평균 약 18G의 쓰기가 발생되네요.)
서버 사용중, 좀 느리다.. 싶어서 디스크 성능을 체크해 보면, 다음과 같이 표시됩니다.
위 그림이 R720에서 대용량 파일 복사를 걸어 놨을 때 입니다.
위 그림은 T620에서 대용량 파일 복사를 걸어 놨을 때 입니다.
이것이 처음부터 이런 것은 아니었습니다. 처음에는 다음 그림처럼, 아름답게(?) 나옵니다.
그런데, 몇 달 사용하다 보면, 지금 문제가 되는 속도처럼 나옵니다.
그런데, 이것이 예전에 마이크론 M550 사용할 때도 발생한 문제였습니다. 그래서 삼성것으로 갈아탔고요.
그런데 또 비슷한 문제가 발생하니 미치겠습니다.
의심이 가는 부분은 있습니다.
RAID 컨트롤러가 TRIM을 지원하지 않아, 오로지 GC로만 삭제된 셀을 처리해야 합니다.
그래서 지금 상태는 dirty 상태의 셀에 새로 쓰기를 해야 하므로 속도가 느려 지는 것일 테지요.
그래서, SSD를 하나 빼서, 일반 PC에 물린 다음, 디스크 초기화(빠른 포멧 정도면 충분합니다)를 해 주고 다시 꼽고 리빌드 하면, 거짓말같이 속도가 돌아옵니다. (물론, 이러한 '초기화' 작업을 2개 SSD에 모두 해야 합니다)
그러나, 이것이 해결책은 아닌 것 같습니다.
매일 혹은 매주 속도 체크를 하는 것이 아니기 때문에, 정확하진 않지만, 쾌적한 상태가 그리 오래가지 못합니다. 체감상 6개월 쯤?
6개월 마다, RAID 깨질 걸 각오하고, SSD를 하나씩 빼고 작업하는 것이 그리 쉬운 일은 아니지요.
궁금한 건.. 향후 어떻게 해야 할 것이냐는 겁니다.
여러분들이라면 어떻게 하시겠습니까?
1. 쓰기에 특화된 SSD를 사용한다. (인텔 DC 시리즈?)
2. 6개월에 한 번 정도면, 그냥 그렇게 사용한다.
3. SSD를 쓰기 캐시로 돌리는 작업을 한다. (CACHECADE 혹은 윈도우 저장소 공간)
4. SSD는 원래 믿지 못할 존재다. 15000RPM HDD로 되돌아간다.
5. RAID 1이 문제다. RAID를 제거하고 단일 디스크로 사용한다.
6. 캐시 설정을 다른 것으로 바꾸어 본다. 예를 들면, Adaptive Read Ahead, Write Back 등
7. 기타 다른 의견?
다른 분들은 어떤지 궁금합니다. 하루 18G 정도 write 하는 것은 그렇게 엄청난 양은 아니지 않나요?
이게 어쩔 수 없는 현상인가요?
(현재 상태에서 가상머신을 켜면, 평소보다 시간이 좀 더 걸리지만, 그렇게 많이 지연되는 건 아닙니다. (신기해요~)
intel dc s3520 480gb
intel dc p3600 2tb
제가 사용하는 디스크입니다
단일 디스크로 사용중 이신가요? RAID 컨트롤러는 무엇을 사용중이신가요?
정말 검증만 된다면 DC로 가고 싶습니다.. ㅠ.ㅠ
OS는 ESXi 입니다.
저희는 가용성을 위해 RAID 1을 포기하기가 쉽지 않아서 말입니다..
가용성을 꼭 raid1으로 할 이유는 없으니깐요
단일 디스크 2개 연결하고 각각 페일오버 그룹으로 묶을 순 없는지요?
돈이 무지 많다면 히타치 SSD나 DELL 기업용 SSD로 갈수도 있겠지만 가격이 장난 아닌지라..
물론 SSD가 빠르다는 것은 인정합니다..
그 외 DELL H710 레이드 콘트롤러에 호환성 테스트를 거쳐 이상없다고 검증된 SSD모델은 무엇인가요??
그 외 장난질일지 모르겠지만 캐쉬없는 레이드 카드를 넣어서 SSD만 그카드에 물려 보는 방법입니다..
케이블링이 문제가 되겠네요..
가상화면 리얼보다 더 높은 io 성능을 필요로 하는데 아무리 15k여도 ssd의 쾌적함은 따라갈수 없습니다
저장소 공간 같은 것으로 SSD tier + HDD tier로 사용하는 것은 가상 머신 쓸 때 특히 좋다고 생각합니다.
SSD 안에 가상머신 여러개를 넣으려고 Windows 용량을 줄이기 위해 애 쓰기도 하는데요.
SSD tier + HDD tier로 하여 커다란 볼륨을 잡아놓고, 거기에서 넉넉하게 넣어 놓으면 OS에서 잘 사용되지 않는 부분은 자연스럽게 HDD로 넘어가고 자주 사용하는 것만 SSD로 들어오게 됩니다. 그것도 파일 단위가 아니라 블럭 단위이므로 효율이 높습니다.
Storage space에서 잡은 볼륨은 부팅디스크로 쓸 수 없습니다.
그러니까 Server 2012 부팅디스크는 따로 작은 SSD에 넣어두고요.
1TB SSD 2개(mirror) + HDD(mirror, 2개 4개 6개 등)
요렇게 하여 잡아 놓은 볼륨에 가상머신들을 넣어두면 좋을 것입니다.
가능하면 SSD는 raid 카드가 아닌 인텔 AHCI 6G에 물리고요. 6G AHCI 포트가 많으면 좋고 적으면 저 같으면 Server 2012 OS 디스크를 3G port에 물리고 6G port 2개에는 tier용 SSD를 연결하겠습니다. 이렇게 하면 software raid이긴 하지만 trim이 아마 작동될 겁니다. Windows Storage space에서는 인텔 AHCI에 물린 SSD와 SAS 아답터에 물린 HDD를 같이 묶을 수 있습니다.
Storage Space를 사용한다면 하드디스크는 H200 같은 HBA에 물리는 것이 더 좋습니다. H710에 물린다면 pass through가 지원되지 않아 단일 디스크 raid 0으로 잡아놓고 묶어야 할텐데 덜 좋습니다.
현재 있는 SSD로 이렇게 사용해 보시고 역시 성능에 문제가 생긴다면 SSD를 기업용으로 바꾸셔야 할 듯. firmware가 리얼타임으로 GC하면서 IO하는 것을 전제하여 만들어진 것이니까요.
그냥 제 의견입니다.
현재 사용하시는 것과 가장 유사한데요. 다만 SSD 2개를 하드웨어 raid가 아닌 인텔 AHCI 6G 포트에 물려 storage spaces에서 mirror로 잡아준다는 것만 다릅니다. trim이 작동하도록
server 2012 부팅디스크는 역시 따로 있어야 합니다.
좋은 의견이시긴 한데.. R720, T620에서 데이터 케이블과 디스크 전원선을 건드려야 되는 일이라.. 엄두가 안 나네요.
T620은 잘 모르겠고.. R720은 SATA 포트가 있기는 한데, 2개 밖에 없는듯 합니다.
SSD를 기업용으로 바꾸면 확실히 문제가 개선 될까요?
그렇잖아도 간장게장 님 말씀 듣고.. SSD Over Provisioning도 많이 하고, SSD에 절반 미만으로 채워지도록 관리하고 있었거든요..
그런데, 저장소 공간 이용시 블럭 단위로 자주 사용하는 것이 SSD로 옮겨 간다면, 그것 역시 참 매력적 이긴 하네요.
고견 감사합니다~
R720이나 T720은 그렇지 않은 모양이지요?
SSD 같은 것은 전원선과 SATA 케이블만 연결되면 내부 공간 적당한 곳에 케이블타이 같은 것으로 묶어 놓아도 됩니다.
그리고, SATA 전원선을 연결할 수 케이블이 따로 없습니다. 벤더 머신이라..
SATA 데이터 케이블을 꽂을 수 있는 곳은 2개 있는데..
SATA 전원선이 문제입니다..
이것을 연결만 할 수 있다면, 케이블타이 같은 것으로 묶어 놓겠는데.. 없어요.. ㅠ.ㅠ
850 pro이면 일반용 중에서는 상당히 좋은 것으로 알려져 있는 것인데요. 기업용인 SM863과 콘트롤러도 같은 것을 씁니다.
다른 것은 firmware와 over provisioning 정도 그리고 power loss protection.
이미 overprovisioning도 충분히 하셨다니 성능에 관계되는 다른 것은 firmware 뿐인데...
기업용들은 IO 중에도 GC를 병행하는 경우가 많고, 일반용들은 IO가 없을 때 GC를 하는 비율이 높고 하는 정도로 GC를 언제 어떻게 하느냐 정도의 차이입니다. degrade 되었더라도 입출력이 없을 때 GC를 하여 성능이 회복되어야 하는데, 듣보잡 SSD도 아니고 850 pro가 저런 상태라는 것은 의외입니다.
지금 벌써 세번째 입니다.
R720, T620 두 서버 모두에서 같은 증상이고요.
어떻게 해야 할 지.. 정말 고민입니다. ㅠ.ㅠ
좋은 방법이 생각났습니다.
SATA인 850pro는 더 이상 사용하지 않습니다.
그 대신 PCIE SSD를 구입하여 사용하는 겁니다.
(혹은 m.2 2280 SSD를 구입하고, PCIE 카드도 구입해서 사용합니다.)
이놈들은 RAID Controller와는 독립적으로 동작하는 놈들입니다.
TRIM 지원 되고요.
이놈을 두 개씩 꽂아서.. 윈도우 저장소 공간으로 미러로 잡고..
스토리지 티어링 기능을 이용하면 될 것 같습니다.
OS는 기존 HDD RAID 기반으로 사용해도 별 문제 없습니다.
어떻습니까? 잘 될 것 같지요? ^^
E5-2600 V3/V4 시스템부터 되는 것으로 알고 있습니다..
지금 시스템이 PCIe SSD로 부팅이 되는지 부터 확인해주세요...
부팅용은 HDD에 있습니다~
SSD영역을 디스크를 4개로 늘려서 1+0으로 셋팅하는 것입니다..
SSD가 2개뿐이라 미러링 밖에 못하니 단일 SSD속도밖에 안나옵니다.. 1+0 이면 그래도 속도가 2배 올라갑니다..
아니면 OS이미지 영역을 HDD RAID로 옮기는 것입니다..
SSD가 빠르다고 하지만 여러 HDD 묶은 것이 다발적인 I/O가 일어나는 것에서는 더 잘 견딘다(속도가 더 나온다)라고 생각됩니다.
그냥 쓸거 같습니다
865기가 였던거 같은데 개당 읽기쓰기가 1g 언저리로 나옵니다.
OS 부팅은 안되고 데이터용으로 사용할 수 있습니다.
T630에 두개 꼽고 ESXi 가상화해서 사용했습니다.
두개를 그냥 각각 OS용으로 쓰고 Dell SAS 4T * 8 RAID5는
Data용으로 했습니다,
답글 고맙습니다~
endurance가 45%이니까 8PB 정도 남은거 같네요.
아마도 캐쉬용도로 엄청 많이 사용했나봅니다.
벤치 자료도 링크를 걸어 놓으셨습니다.
자료상에는 HP 전용펌에서 많이 튜닝이 되었는지 더 좋게 나옵니다.
펌업 한적 없으면 올려야됩니다.
이번에 초기화 작업할 때, 다시 한 번 확인하겠습니다.
답글 고맙습니다~
SSD 자체의 cache는 enable시켜야 합니다.
그러나 SSD의 경우 raid controller의 cache는 별 도움이 안됩니다. streaming의 경우 좀 도움이 되지만 transaction의 경우 오히려 성능이 떨어집니다. 그래서 write through를 권장합니다.
HDD의 경우에는 raid 구성시 보통 HDD 자체 cache는 disable시키고, raid controller cache는 write back으로 하죠. HDD도 자체 cache enable시키는 것이 성능에는 도움을 주지만 power loss를 대비하여 disable시키고 raid controller cache에 전적으로 의존하는 것이 보통.
https://docs.broadcom.com/docs/12353177
streaming(sequential)에서는 도움을 좀 받겠지만 transaction(4k write iops 등)에서는 write back cache가 성능을 떨어트립니다.
그래서 write through로 세팅하라고 말합니다. 특히 fastpath를 사용하려면 write through로 해야 합니다. fastpath 설정하면 저절로 write through로 되어 버립니다. fastpath라는 것은 cache의 간섭을 받지 않고 pass through 시켜서 iops를 높이는 방법입니다.
http://www.admin-magazine.com/Archive/2015/28/Tuning-SSD-RAID-for-optimal-performance/(offset)/6
여기의 그림4에도 측정결과가 나와 있습니다. 노란색이 writeback cache 적용한 것