혹시 SSD를 Cache로 사용하신분 계시나요?
삼성 850Pro 250GB를 CACHE DISK로 사용했는데 20일이 안되서 뻤었습니다. 처음에는 DISK 잘못인줄 알고 새것으로 교체했는데 그 다음에는 15일 정도 버티더니 3번째 DISK도 마찬가지 였습니다.
머가 문제일까 곰곰히 생각해 보았는데 저희 제품이 서버에 초당 200MB/300MB로 WRITE/DELETE를 합니다.
그러니까, 200MB/Sec만 잡아도 200MB * 60초 * 60분 *24시간 * 10일 = 172TBW 입니다. 20일 돌리니까 죽는게 당연하죠. 미처 고려를 못한 잘못이지요.
그런데 보통 LSI의 CACHECADE 등에 연결하는 SSD는 어떻게 감당을 하지요? 혹시 이런문제 격으신분 계시나요?
검증된 인텔 SSD를 1개 사용합니다..<-- 인텔 IPP중 한 엔지니어 이야기..
레이드 카드에서 하이브리드 레이드로 체널중 하나나 두개를 SSD를 설정 캐슁하는 것에서의 이야기 입니다.
CACHECADE가 WRITE이 절대적으로 많으면 우선 SSD에 저장하고 나중에 DISK에 뿌리는 logic 맞는거죠?
저희는 CACHECADE 사용하지 않지만 다른분들은 어떤가 궁금해서요
CACHECADE 는 전체를 SSD로 사용할 때 SSD쪽에 튜닝키를 넣어 퍼포먼스 향상 시키는 정도로만 알고 있습니다.
리눅스의 SSD 캐쉬라는건
연속쓰기 같은것들은 그냥 HDD로 다이렉트 쓰기해서
4k 같은 작은 파일들만 캐슁하는걸로 알고있는데
그래서 TBW 다 채울만큼 가지 않습니다.
4k 아무리 쓰기 해도 TBW 다 못채우죠....
초당 200MB/s나 300MB/s 까지 가지도 않습니다..
그래서 저희 file system에 READ/CREATE용 CACHE기능을 넣은거구요. LSI의 CACHECADE를 사용하진 않지만 비슷한 경험을 거기에서 하신분들이 있지않을까 해서 여쭤본겁니다.
초당 200MB/s나 300MB/s 까지 가지도 않다요? Peak는 훨 더나오고 200MB/s으로 20일 꾸준하게 갑니다.
정확하게는 SSD 3개를 CACHE로 사용하는데 각 DISK당 200MB/s 이상 사용합니다.
연속 쓰기는 제외하고 200MB/s 까지 갈정도의 작업이 뭐가있을까요?
진짜 궁금해서그럽니다.....
제가 생각하고있는 그런 SSD캐쉬가 아닌건가요?
저는 HDD 레이드에달려있는 SSD캐쉬로 생각중인데...
READ/WRITE 비율이 7:3인데 깍깝합니다.
저흰 분산스토리지 입니다. 겨우겨우 버팀니다.
ㄷㄷ합니다
Log data로 저정도 데이터량이 ;;;
흐게겍
SSD가 뻗어버리는것도 당연하네요 ㅋㅋㅋㅋ;;;;
850Pro도 GC가 될텐데
못버티나보군요....
인텔에 보면 무지막지한 쓰기 수명가진 SSD들 있던데
그런거 써보세요....
사무실에선 됐는데
사실 그보다는 마더보드의 램을 캐쉬로 사용하는 것이 더 오래 갈꺼여요..(꺼져 버리면 작살나지만)
넥센터 같이요..
https://nexenta.com/
nexenta야 어차피 ZFS니까 나름 방법은 있을텐데 남들은 어떻게 하나 궁금해서요
10G 4 포트 정도 스트리밍 서버 만들어서 몇천명이 화일 땡겨가게 해서 풀 로드 걸어보세용...
200-300mbps를 꾸준히 write한다고 해서, 2주일만에 죽는 것은 조금 심한 것 같습니다.
제품별로 차이가 있습니다.
이런저런 이유로 삼성SSD는 서버에는 안쓰고 인텔과 마이크론만 씁니다.
제품을 선택하실 때는 GC기능이 있는 것을 택하셔야 합니다.
사용중에 trim을 할 수 없거든요.
국내 지사 있습니다.. BMT 해봐도 될 듯합니다..
S사 SSD도 뒤로는 모델이 무지 많은데 845 머시기 하는 기업용 모델이 있습니다.
가격은 850 Pro보다 마니 비싸더라고요..
그런데 테스트 할건데 SSD 꽃아서 TBW 수명 2배이상 사용해본다고 하면 싫어할것 같아요.
성능이라면 http://www.onestopsystems.com/2xou-flash-storage-array 이걸쓰지요.
M.2 NVMe 63개 들어가는 넘입니다.
100TB 해봐야 6000만원 수준이기 때문에 해볼만 합니다. SM-953Pro (950 Pro의 enterprise 버전) 기준입니다.
845DC Pro죠. 가격 10% 정도 더 비쌈니다. 시중에서 구하기가 어려울 뿐입니다.
디스크는 차후 이야기 이고요..
구형의 수명이 더 길 수 있습니다.
200MB/s이상 연속쓰기가 계속되는 환경이라면 NAND뿐 아니라 컨트롤러가 나갈 수 있습니다.
용량은 배이상 여유있게, 20nm이상 NAND 쓰는것 외에는 큰 방법이 없지 않을까 합니다... :)
그런데 이론적인 수치는 SM이나 Pro 시리즈나 동일합니다.
PM 시리즈는 논외구요. 이넘은 EVO 수준이라...
컨트롤러는 버티던데요, 차라리 컨트롤러가 죽으면 좋겠구만 장애후에 SMART 보면 Reallocatred sector count 값이 VALUE=WORST로 나옵니다. 죽었다는 거죠
그런데 인터넷 찾아보면 어떤 DISK는 1PB 이상도 간다는데 전 왜이럴까요? 심지어 850 Pro로 7PB까지 본 사람도 있던데요. 저두 벤서에서 말하는거 기준 2배는 가는것 가지만 그래봐야 10~20일 이라서..
뽑기운도 있고 사용환경따라 많이 달라집니다. 또한 벤치마크가 아니라 위와 같은 상황에 실제 적용시에는 1/10~1/5정도로 잡는것이 마음이 편할겁니다.
어쩌면 초기에 이런문제를 발견한것이 다행일수도 있어요. 더 중요한 업무에 사용된후에 발견됐으면 그땐 회사 문닫고 소송당하고 난리일텐데
DELL 기업용 SSD (삼성OEM)으로 비교 해서 차이가 마니 난다면 펌웨어 프로그램의 차이 정도라고 밖에 생각이 안됩니다..
아니면 예비용 셀 영역이 더 많은 것이겠죠..
.
.
.
앗, 아닙니다. SMART 상에 가용가능한 relocate sector size가 0인걸로 봐선 모두 죽은거 맞습니다.
80GB 인텔 SSD를 무상 분양 받았는데 대충 돌려보는데도 열이 좀 나더군요.(옛날 것이니 당연,30-40도 수준이니 돌아가는건 문제 없을 듯)
분해해보니 깡통은 주물이라 좋은데 기판과 깡통은 둥 떠 있더군요. (실리콘 방열패드라도 발르면 어디 덧나는지)
나중에 씨피유 구리스에 푹 담궈서 조립해 사용해볼까 하고 있습니다.
혹시나의 이야기 입니다..
차라리 램디스크로 가는게 더 낫지 않나요
국산 말고
구하기는 힘들지만 히타치 SSD는 어떨까 라는 생각을 해봅니다..
기업에선 좀 쓸줄 알았는데.. 잘 안쓰나 보네요..
nepapp이나 emc처럼 nvram을 사용하면 어떨까 했는데 그냥 dram을 대체하는게 아니더라구요. 그래도 그쪽박에 답이 없는것 같아요.
한 1년쯤 뻘짓하면 nvram 사용할수 있을까요? 경험이 없어서리
이 집도 여러가지 재미난거 많이 만드는 집인데..
본사 찌르면 연락처 나올 것입니다..
그런데, 어차피 이제품도 SATA Interface입니다. DIMM에서는 전원만 공급받습니다. 별차이 있을까요?
스펙시트에 보면 400GB 제품의 경우 TBW 가 3.7PB 정도 됩니다.
여기에 다시 HPA 를 잔뜩 잡아서 220GB 로 만들어서 사용 중입니다.
기대수명은 6~10PB 정도입니다만...실제 거기까지 write 가 발생하지 않아서 잘 모르겠습니다. ;;
일단 어디 제품이던...디스크 용량의 절반정도를 HPA 로 설정하고 테스트해보실 것을 권해드립니다.
실 레이드는 lsi 3108 2gb cache입니다. 디스크는 24개 모두 sas3 12gps이구요. 그렇게 해도 디스크론 어림 없습니다.
위에서 어떤분이 lsi cachecade는 실제 데이터 저장이 아닌 "튜닝키" 저장용 이라는데 아닌가요? 근데 튜닝키도 뭔지 모릅니다. 그쪽이 어떻게 하는지 알수 있으면 흉내라도 내보겠는데요
근데 hpa가 뭔가요? 데이테공간을 reserved공간으로 바꾸는 건가요?
레이드컨트롤러 캐쉬의 기본적인 원리는 이렇습니다.
Random 데이터를 RAM 에 올리고 일정용량이 차면 그 데이터들을 정리해서 write 를 합니다. 즉...random IO 라고 해도 디스크에까지 random 하게 들어가지는 않습니다. (정리해서 들어가기 때문에 일부분은 시퀀셜하게 들어가지고 일부분은 그렇지 않고 대충 이런 식입니다)
중간에 SSD 를 두는 것도 마찬가지 방식으로 동작합니다.
즉...순수하게 IOPS 의 영향만 받지는 않습니다.
실질적으로...레이드컨트롤러의 DRAM 캐쉬가 Flush 되는 타이밍이 컨트롤러에 따라 다르긴 하나 4~8초 정도 됩니다. 따라서...CacheCade 를 쓰더라도 SSD 의 속도를 완전히 뽑아내진 못합니다.
특히 random IO 쪽에서는 SSD 자체 속도 대비해서 속도하락이 꽤 생깁니다.
이미 말쓰하신 방법으 다 사용합니다. splice, mmap, ...그정도 하니까 저장 서버당 34,000iops 나오겠죠.
특정 용도의 스토리지가 아니라 범용스토리지이기 때문에 사용자 패턴을 고려한 꼼수를 사용할 순 없습니다.
raid를 사용하면 sequential 이라도 400동시 io에서는 랜덤입니다.
cachecade가 될것같으면 우리 캐쉬빼고 그리 가려했는데 답이 아니군요. 감사합니다.
말씀하신데로 원래는 data 공간으로 잡혀있던 걸 reserved 로 바꾸는 역할을 합니다.
파티셔닝해서 사용하는 것과는 조금 다릅니다.
데드셀이 발생했을때 HPA 에 잡혀있는 셀로 대체해서 동작이 됩니다.
파티셔닝해서 사용하는 경우에는 제조사에서 정해둔 reserved 영역의 셀과 대체하다가 reserved 셀이 모두 사용되고 나면 이후에는 죽는다고 보면...일정부분 차이가 있습니다.
마이크론 제품도 설정이 가능했습니다.
그 외 제품은 사용해보지 않아 모르겠습니다.
반드시 모든 파티션을 삭제하고...Secure Erase 를 실행한 후 설정해야합니다.
사용한 컨트롤러가 9260 이라서...최신컨트롤러와는 성능차이가 많이 날 것으로 생각합니다. 참고용으로만 보세요.
http://www.2cpu.co.kr/bbs/board.php?bo_table=bmt&wr_id=1242
연속쓰기 성능이 좋은 HDD도 가능할 것 같고요. SSD를 캐쉬로 활용하는 건... 주로 읽기 성능 향상이 아니었던가요?
대신 랜덤 억세스가 빠르고...SAS 디스크의 경우 Queue Depth 가 SATA 보다 크기 때문에 QD 성능이 매우 좋게 나옵니다.
레이드 레벨이 몬지는 모르나 스트라이프 사이즈가 디폴트 값인 128K나 256K가 아닌지요?
이것을 8K ,16K, 32K때로 줄여서 테스트 해보시기 바랍니다.
스트라이프 사이즈는 작은 화일에서는 작아져야 퍼포먼스가 올라가니까요..
물론 큰 화일이 많이 움직이면 스트라이프 사이즈도 커야 합니다..
SSD 튜닝쪽(온보드,레이드카드 / 개인용)에는 나우마크님의 글이 많이 도움이 됩니다.
우선 DISK 용량키우고 HPA로 버텨야 할 것 같습니다.
장기적으로는 NVRAM을 사용하는 CACHE 기술을 고민해봐야 할것 같습니다.
그냥 2-3억 투자에 1년안에 (3-4이 1년안에) 습득할 수 있으면 해볼만 할것 같은데 그 이상이 들면 포기해야죠.
저희는 SW 회사라 HW에 종속을 가지는 개발은 하지 않으려고 하는데 자꾸 손을데고 있습니다. 이러다 정신차리 겠죠...
ssd가 동시에 read/write 캐슁을 하기 하시는 것은 좋지 않다고 생각합니다.
write의 경우에는 raid controller의 cache 용량을 키우는 것으로 대응하시면 되고
read의 경우에는 ssd 캐쉬를 하되 sw에서 memory에 cache를 사용하게 하셔야 해요.
그렇기 때문에 일반 스토리지에서 READ/WRITE Cache를 나누는건 거의 불가능합니다. 특별한 경우가 있다면 어떻게 해보겠지만 저희는 범용 스토리지를 개발합니다.
파일을 READONLY로 open하면 이런 경우는 Mem cache를 사용하지요. 그런데 그런 경우 거의 없습니다.