ZFS »ç¿ë Èıâ..

   Á¶È¸ 15860   Ãßõ 2    

안냥하세요 김현린입니다.

SSD 용량 압박에 시달려 중복제거 솔루션을 이래 저래 고민만 하다가..

zfs에 필이 받아 구성하여 테스트 해보았습니다.

ZFS는 linux 위에 올라가는 놈이 있고.

당연히 솔라리스 위에 올라가는 놈이 있습니다.

리눅스 위에 올라가는놈은 iscsi가 지원되지 않고 nfs만 가능하며

솔라리스는 iscsi가 가능하기에 iscsi로 하였습니다.

linux on zfs 의 경우에도 커널위에서 돌아가고 최근 7.9버전까지 나오면서

상당히 안정화 되었다 해서 기대를 했습니다.


zfs의 중복 제거(압축) 방식은

gzip과 lz4 이 두가지가 있습니다.

살짝 구글링을 해보면 gzip은 압축률은 좋지만 성능에서 lz4에 떨어지고

lz4의 경우 성능에서 좋지만 많은 리소스를 요구하며 gzip보다는 압출률이 떨어진다.

입니다.

그래서..

3일정도 삽질끝에 테스트를 완료 하였습니다.

솔라리스보다는 리눅스가 접근성이 좋기에

리눅스로 테스트 해볼까 했지만

성능이 생각보다 만족스럽지 못하기에

솔라리스 까지 테스트 하였습니다.


세팅한 환경은 

리눅스나 솔라리스 둘다 8코어 2소켓(총16코어)

메모리 32GB

레드햇 7.4를 사용했으며

솔라리스는 11.3을 사용했습니다.

OS영역 데이터 영역 전부 SSD 위에 올라가 있습니다.


성능 튜닝부분은 전혀 손대지 않았기에 튜닝을 좀 해주면 결과는 바뀔수 있습니다.(블럭 싸이즈라던가..)




일단 간단 요약입니다.

zfs 영역을 esxi 데이터 스토어로 잡고 

2012R2 설치후 동영상 파일 1개 넣고 중복 제거 후 용량과 성능을 비교해 보았습니다.

로컬 SSD에 저장하였을때는 중복 제거가 전혀 없기에 13G가 저장되며

동일 데이터 스토어에 복사 할때는 약 50초가 걸렸습니다.

중복 제거가 되지 않기에 당연히 복사하면 26G. 3개는 39G를 사용합니다.


리눅스 NFS로 테스트시 gzip으로 압축 하면 13기가가 8.56G로

이걸 그대로 복사해서 2개를 넣으면 8.66 3개째는 8.67입니다.

lz4로 압축시 최초 1개는 9.82G 2개는 9.82 3개는 9.83입니다.


동일한 데이터 스토어에서 복사하는데 걸리는시간은 gzip 8분

lz4 3분이 소요되었으며 ssd 자체 복사시 50초가 걸립니다.

솔라리스 lz4의 경우 1분 10초라는 엄청난 속도가 나왔습니다.


최대 메모리 사용량은 리눅스에서 복사작업이나 벤치 테스트를 하고있을때 사용하는 메모리량을 봤습니다.

맨 밑이 솔라리스를 이용한 lz4 방식으로 테스트 하였습니다.

만족스러운 성능과 압축률이 나오기에 gzip은 테스트 하지 않았습니다..(귀찮..)


복사하는데 걸리는 시간만 보아도 어느정도 성능이 감이 오실꺼 같습니다.


자세한 성능은 밑의 그림을 보시져..

로컬 SSD의 성능은




요정도 나옵니다.

4K쓰기가 괴랄하게 나오긴했는데..

뭐 일단 넘어 갑시다.

인텔 NVME 1.6TB입니다.






Linux on zfs gzip으로 테스트시 위와 같습니다.

읽기 성능은 그럭저럭 만족 스럽지만 쓰기 성능이 최악입니다..

요약에서도 보셔서 아시겠지만 복사하는데 8분이 걸렸습니다.

압축률은 lz4보다 약 10%정도 더 나오긴 하지만 OS영역으로 쓰기에는 무리가 있어보입니다.





Linux on ZFS  lz4 로 구성한후 테스트 결과 입니다.

전반적으로 쓰기 성능이 좋아지긴 했지만 중요한 4k성능이 여전히 똥입니다..


가만히 들여다 보고있으니 linux on zfs 는 시스템 자원을 제대로 못쓰는 느낌입니다.

cpu도 10%이상 사용하지 못하고 있으며 메모리도 30%를 못넘깁니다.


그러면 솔라리스를 보시죠..




시퀀셜 쓰기가 이상하게 안나오긴 하지만 

전반적으로 매우 만족 스러운 결과 입니다.

cpu 사용도 최고 사용할때 80% 메모리도 90% 이상 사용하며

시스템 리소스를 쭉쭉 끌어다 사용하고 있습니다.

4k 쓰기 속도를 확인 하고 아빠 미소를 지으며 테스트를 마무리 했습니다.


솔라리스와 리눅스 간에 압축 방식에 따른 압축률은 거의 차이가 없는듯 합니다.

솔라리스가 훨씬 많은 메모리를 사용하기에 당연히 성능이 좋게 나와야지

할수도 있지만 저는 거기에 리눅스는 왜 남는 메모리 20G를 못 가져다 쓰느냐 라고 반박하고 싶습니다.


nfs와 iscsi 차이때문에 성능 차이가 발생하는지 여부는 모르겠습니다.

솔라리스에서 nfs로 잡아서 성능 테스트를 해보면 확실 하겠지만..(귀찮... 솔라리스 어려워..)

헤놀로지에서 nfs와 iscsi 둘다 데이터 스토어로 잡아서 테스트 해보았지만

차이가 없었습니다.


대충 이렇게 정리하고 망해가는 솔라리스 말고 오픈솔라리스로 다시 올려 볼까 하고있습니다..

俵Áø 2018-08
zfs»ç¿ëÇϽô±º¿ä ¹Ý°©½À´Ï´Ù.
¾Ë°í °è½Ã°ÚÁö¸¸ zfs¿¡¼­ ¾ÐÃà°ú Áߺ¹Á¦°Å¿É¼ÇÀÌ µû·Î ÀÖ½À´Ï´Ù
Àú´Â freebsd zfs¿¡¼­ lz4¸¦ »ç¿ëÇÏ°í Àִµ¥
¸®´ª½º¶ó°í ÇÏ´õ¶óµµ gzipÀÌ ´õ ³´´Ù°í Çϼż­ Á» ÀǾÆÇØ Ã£¾ÆºÃ´Âµ¥
i7¿¡¼­µµ ¼º´ÉÀúÇÏ°¡ ÀÖ´Ù°í Çϳ׿ä Âü°íÇϽøé ÁÁÀ» °Í °°½À´Ï´Ù.(ÀÌ¹Ì ¼Ö¶ó¸®½º¿¡¼­ lz4¸¦ ¾²½Å´Ù°í ÇϽôÏ)
https://icesquare.com/wordpress/how-to-improve-zfs-performance/
Àû¾îµµ LZJBº¸´Ù´Â lz4°¡ ¾ÐÃà·ü°ú ¼º´É¸é¿¡¼­ °¡À峪Àº °Í °°½À´Ï´Ù.

Áߺ¹Á¦°Å(dedup)¶ó¸é 1TB´ç 5GBÁ¤µµÀÇ ¸Þ¸ð¸®¸¦ ÇÊ¿ä·Î ÇÑ´Ù°í Çؼ­ ¿ë·®¾Ð¹Ú¶§¹®¿¡ ÇÁ·Î´ö¼Çȯ°æ¿¡¼­ »ç¿ëÇغ¸Áø ¸øÇß½À´Ï´Ù¸¸
38TBÁ¤µµÀÇ ½ºÅ丮Áö¿¡ 24ÄÚ¾î/50G ram¿¡¼­µµ ¼º´ÉÀúÇÏ°¡ ÀÖ´õ¶ó±¸¿ä (debupÄÑ·Á¸é 200GBÁ¤µµÀÇ RAMÀÌ ÀÖ¾î¾ß°Ú³×¿ä)
¿ë·®¾Ð¹ÚÀÌ ÀÖÀ¸½Åµ¥´Ù all-flash ½Ã½ºÅÛÀÌ´Ï ¸Þ¸ð¸®¸¦ Á» ´õ Áõ¼³ÇØ dedupÄѼ­ Å×½ºÆ®Çغ¸½Ã´Â °Íµµ ±¦ÂúÀ» °Í °°³×¿ä^^
     
±èÇö¸° 2018-08
dedup ´Ù Äѳõ°í Å×½ºÆ® ÇÑ°Í ÀÔ´Ï´Ù ¤¾¤¾;;
ZFS °í¼öºÐÀÌ ºÁÁÖ½Ã´Ï ¸öµÑ¹Ù¸¦ ¸ð¸£°Ú½À´Ï´Ù.
±×³É ÇãÁ¢ÇÏ°Ô Å×½ºÆ®¸¸ ÇغýÀ´Ï´Ù.
Á» ±¼·Áº¸°í °µÃáÇÏ´Ù ½ÍÀ¸¸é OS ¿µ¿ªÀ» ÀÌÀüÇÒ±î °í¹ÎÁßÀÔ´Ï´Ù.
´ÜÆíÈ­·Î ÀÎÇÑ ¼º´É ÀúÇϳª ÀÌ·±°Ô Á» °ÆÁ¤À̱ä Çϳ׿ä...
     
±èÇö¸° 2018-08
freebsd¿¡ ¿Ã·Á¼­ Å×½ºÆ® Çغ¸¾ÒÁö¸¸
¼³Á¤ ¹®Á¦ÀÎÁö ¹º°¡ ¹Ì¹¦ÇÑ ¼º´ÉÀÌ ³ª¿À³×¿ä.
Àü¹ÝÀûÀ¸·Î´Â ¼Ö¶ó¸®½ºº¸´Ù ¸øÇÏ°í
¸®´ª½ºº¸´Ù4k ¾²±â¸¸ °µÃá°Ô ³ª¿É´Ï´Ù.
OS ¿µ¿ªÀ¸·Î »ç¿ëÇؾßÇϱ⿡ Àú´Â ¼Ö¶ó¸®½º°¡ ¸Â¾Æº¸ÀÔ´Ï´Ù ¤¾¤¾
À½. µð½ºÅ© ±¸¼ºÀº ¾î¶»°Ô µÇ³ª¿ä... All SSD Àΰ¡¿ä?

¼Óµµ°¡. À½. Á». ¤Ð.¤Ð
     
±èÇö¸° 2018-08
nvme µð½ºÅ© ÇÑÀåÀÔ´Ï´Ù.
³×Æ®¿öÅ© Å¿ì±â¿¡ 10G ¼Óµµ ÀÌ»ó ³ª¿Ã¼ö°¡ ¾øÁö¿ä.
4K¼Óµµ¸¸ º¸½Ã¸é µÉ°Í °°³×¿ä.
epowergate 2018-08
1. ZFS¿¡¼­´Â blocksize¸¦ ÀÚüÀûÀ¸·Î ÃÖÀûÈ­ ½Ãŵ´Ï´Ù.  ÆÄÀϸ¶´Ù block size°¡ ´Ù¸£Áö¸¸ ±âº» 32KBÀÔ´Ï´Ù.  ÇØ´çÆÄÀÏÀÇ blocksize¸¦ È®ÀÎÇÒ ¼ö ÀÖ´Â utilÀÌ ÀÖ½À´Ï´Ù.
¹°·Ð blocksize¸¦ °íÁ¤ÇÒ ¼öµµ ÀÖÁö¸¸ ÃßõÇÏÁö ¾Ê´Â´Ù°í ÇÕ´Ï´Ù.
2. ZFSÀÇ °¡Àå Å« ÀåÁ¡Àº COWÀÔ´Ï´Ù.  ±×·¸±â ¶§¹®¿¡ ZFS on Linux´Â ¼º´ÉÀÌ ´À¸± ¼ö ¹Û¿¡ ¾ø°í ÆíÂ÷°¡ Ŭ¼ö ¹Û¿¡ ¾ø½À´Ï´Ù.
     
±èÇö¸° 2018-08
Áߺ¹Á¦°Å¸¦ ÇÏ´Ùº¸´Ï °¡º¯ºí·ÏÀÌ µÉ¼öµµ ÀÖ´Ù »ý°¢ÇÕ´Ï´Ù.
¹¹ Å©°Ô ½Å°æÀ» ¾²Áö´Â ¾Ê½À´Ï´Ù.. ¸¸
freebsd³ª ¸®´ª½º¿¡¼­ ¼º´ÉÀÌ ÁÁÁö ¾ÊÀ¸´Ï °í·ÁÇß¾ú½À´Ï´Ù.
¸®´ª½º´Â Á¦¿ÜÇÏ°í ¼Ö¶ó¸®½º·Î ¹ÚÄ¡±â ÁßÀÔ´Ï´Ù ¤¾¤¾
¹Ú°æ¿ø 2018-08
µ¿¿µ»óÀ̳ª À̹ÌÁö ÆÄÀÏÀº ÀÌ¹Ì ÇÑ ¹ø ¾ÐÃà ¾Ë°í¸®ÁòÀ» °ÅÄ£ °Í ¾Æ´Ñ°¡¿ä
±×·¡µµ ´õ ¾ÐÃàÀÌ °¡´ÉÇÏ´Ù´Ï Àǿܳ׿ä
Ȥ½Ã ¼Ö¶ó¸®½º´Â ¾î¶² ¹èÆ÷ÆÇÀ» ¾²½Ã³ª¿ä
¿À¶óŬÀÌ SUN ÀμöÇÑ ÀÌÈÄ·Î ¼Ö¶ó¸®½º´Â ¸ÆÀÌ ²÷¾îÁ³´Ù°í µé¾ú´Âµ¥
¸®´ª½º³ª BSDó·³ °è¼Ó À¯Áö°¡ µÇ´Â°¡ º¸³×¿ä?
     
±èÇö¸° 2018-08
µ¿¿µ»ó ºÎºÐÀº Å«Â÷ÀÌ°¡ ¾ø¾îº¸ÀÔ´Ï´Ù. ¸¸
Áߺ¹Á¦°Å´Â °¡´ÉÇÏÁö¿ä.
¶È°°Àº µ¿¿µ»óÀÌ 2°³ ÀÖ´Ù¸é 1°³¾îÄ¡ÀÇ ¿ë·®¸¸ Àâ¾Æ ¸Ô°Ô µË´Ï´Ù.
¿À¶óŬÇÑÅ× ¸ÔÈù ÀÌÈÄ ¼Ö¶ó¸®½º °³¹ßÆÀÀ» ÇØü ÇÏ°í ÇØ°íÇß´Ù ÇÕ´Ï´Ù.
±×·¯¸é¼­ ¸í¸ÆÀÌ ²÷¾îÁø°Ô ¸Â¾Æº¸À̱¸¿ä.
±×·¡¼­ ¿ÀÇ ¼Ö¶ó¸®½º ¶ó´Â°Ô »ý±ä°ÇÁö ±×ÀüºÎÅÍ ÀÖ¾ú´ÂÁö´Â ¸ð¸£°ÚÁö¸¸
¿ÀÇ ¼Ö¶ó¸®½º·Î ´Ù½Ã ±¸¼ºÇغ¼·Á±¸ ÇÕ´Ï´Ù.
          
epowergate 2018-08
À߸ø¾Ë°í °è½Ê´Ï´Ù.
¼Ö¶ó¸®½ºÆÀ ÇØüµÇÁö ¾Ê¾Ò°í Àå±â°£ ±×·²ÀÏ ¾øÀ»°Ì´Ï´Ù.
OpenSolaris ÆÀÀº ÇØüµÈÁö 7-8³âÂë µÇ¾ú½À´Ï´Ù.  Áö±Ý OpenSolaris´Â Áß±¹»ç¿ëÀÚ/ȸ»çµéÀÌ ¸¹ÀÌ »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù.  ¹°·Ð illumus (ȸ»çÀ̸§ÀÌ ...) µîµµ ¿­½ÉÈ÷ ÇÏ°í ÀÖ±¸¿ä
               
±èÇö¸° 2018-08
http://www.ciokorea.com/news/35476
À߸øµÈ ±â»ç ÀÌ·Á³ª¿ä..?
                    
epowergate 2018-08
´ç¿¬È÷ À߸øµÈ ´º½ºÁÒ.  °¡½±¼öÁصµ ¾ÊµÇ´Â
S7-2°¡ ¿ÃÇØ ³ª¿Ô½À´Ï´Ù.  À§ ±â»ç´Â 2017³âÀ̳׿ä
´Ù ©¶ú´Âµ¥ »õÁ¦Ç°ÀÌ ¾î¶»°Ô ³ª¿Ã±î¿ä?
                         
±èÇö¸° 2018-08
ÁÁÀº Á¤º¸ °¨»çÇÕ´Ï´Ù.
¼Ö12µµ ±â´ëÇغ¼¸¸ Çϰڳ׿ä.
¼ÒÁßÇÑ Èıâ ÀßÀоú½À´Ï´Ù. Àúµµ ZFS Å×½ºÆ® °èȹÀÌ ÀÖ¾ú´Âµ¥, µµ¿òÀÌ ¸¹ÀÌ µÉ°Å °°½À´Ï´Ù.
linux on ZFS´Â ÇØ¿ÜÀ¯Àúµé »çÀÌ¿¡¼­µµ ºÒ¾ÈÁ¤Çؼ­ ±ÇÀåÇÏÁö´Â ¾Ê´Â ºÐÀ§±â´õ¶ó±¸¿ä.
     
±èÇö¸° 2018-08
¸®´ª½º´Â È®½ÇÈ÷ °Å¸£´Â°Ô ¸Â¾Æº¸ÀÔ´Ï´Ù ¤¾¤¾
N54L+FreeBSD + ZFS : 5³â° .. ÆÄ¿ö ¿Â »óÅ¿¡¼­ µ¹¾Æ°¡°í Àִµ¥..
¹®Á¦´Â ¾ø½À´Ï´Ù...  5³â ÀÌ»ó µ¹¾Æ¼­ °ÆÁ¤À̱ä ÇÕ´Ï´Ù..
¼º½ÇÇÏ°Ô NAS ¾÷¹«¸¦ ÇØÁÖ°í ÀÖ±º¿ä..
     
±èÇö¸° 2018-08
Áߺ¹ Á¦°Å¿¡ µû¸¥ ÆÄÀÏ ´ÜÆíÈ­°¡ Á» °ÆÁ¤µÇ´Â ½Ã±â½Ã±º¿ä..
¸ðµç Áߺ¹Á¦°Å ¼Ö·ç¼ÇµéÀÌ °¡Áö°íÀÖ´Â ½ÃÇÑ ÆøźÀÌÁÒ..
¹«´õ¿î ÀÌ ¿©¸§À»  ¾Æ¶û°÷ÇÏÁö ¾Ê´Â
±èÇö¸°´ÔÀÇ ³ë°í¿Í °í±Þ Á¤º¸¿¡..
³Ê¹« ³Ê¹« °¨»çµå¸³´Ï´Ù.
¶Ç Çö¸°´ÔÀÇ ¿­Á¤ÀÌ ¹«¼·½À´Ï´Ù.

ZFS , ´ëÇѹα¹ÀÇ 1Ÿ°¡ µÇ½Ã±æ ±â¿øÇÕ´Ï´Ù...(¹Ì±¹¾Öµéº¸´õ ´õ ¶Ù¾î³­...)

ÀÌ ±ÛÀ» ±â¾ïÇÏ¿© 10³â ÈÄ¿¡ ´Ù½Ã º¼°Ô¿ä...
2028³â... ¶Ç ´õ¿ï °Í °°Àº ±× ¿©¸§¿¡.....
¾ÐÃàÆÄÀϽýºÅÛÀΰ¡¿ä?
     
¼Ò´ÐÄí 2019-08
ntfs °°Àº ÆÄÀÏ ½Ã½ºÅÛÀε¥ ¿ø·¡ ½ã ¸¶ÀÌÅ©·Î¼­ ¼Ö¶ó¸®½º¿ëÀ¸·Î °³¹ß µÇ¾ú´Ù°¡, ¿ÀǼҽº ºñ½ÁÇÏ°Ô
ÀüȯµÇ¼­ ÆÛÁ³´Âµ¥.. ½ãÀÌ ¿À¶óŬ¿¡ ¸ÔÈ÷¸é¼­, °ø°³°¡ ¾ÈµÅ¼­, ¿ø·¡ °³¹ßÀÚµé Æ÷ÇÔ
Åð»çÇؼ­ ¸¸µç ÇÁ·ÎÁ§Æ®·Î ³Î¸® ÆÛÁü. ´ëÇ¥ÀûÀ¸·Î freebsd¿¡¼­ ±¸ÇöµÊ ¶ó°í ¾Ë°í ÀÖ½À´Ï´Ù.
³ª½ºÂÊ OS¿¡ ´ëºÎºÐ.. ³»ÀåµÇ¾î »ç¿ë°¡´ÉÇÔ. freebsdÀÚü°¡ ¿ÀǼҽº¶ó.
°¡Àå Å« Ư¡Àº Çϵå¿þ¾î ¾øÀÌ raid-z ºñ½ÁÇÑ ±â´É ±¸Çö. ¾Æ¸¶µµ ½º³À¼¦ ½ºÅ³ÀÇ ¿øÁ¶Âë µÇ´Â °É·Î
µé¾ú½À´Ï´Ù.
=====
¼Ö¶ó¸®½º Á÷¿øµéÀÌ ¾ÖÃÊ °³¹ßÇÑ °Å¶ó. ¼Ö¶ó¸®½ºÂÊÀÌ Àßµµ´Â °ÍÀº ´ç¿¬Çѵí.
ÁÁÀº Á¤º¸ °¨»çÇÕ´Ï´Ù.


Á¦¸ñPage 1/28
03-01   1559   tncsystem
02-22   1685   µö·¯´×¼­¹ö
02-08   2414   µö·¯´×¼­¹ö
01-25   3281   µö·¯´×¼­¹ö
01-23   4463   ĵÀ§µå
01-11   6454   µö·¯´×¼­¹ö
01-05   5903   ¹Ú¹®Çü
2023-12   5842   inquisitive
2023-12   5725   µö·¯´×¼­¹ö
2023-12   5505   ÇѲ¿Çª
2023-12   5210   inquisitive
2023-12   3025   °£Áö³ª
2023-12   2527   µö·¯´×¼­¹ö
2023-12   2670   inquisitive
2023-11   3242   µö·¯´×¼­¹ö
2023-11   3872   µö·¯´×¼­¹ö
2023-11   22371   ¸ùź
2023-11   19395   µö·¯´×¼­¹ö
2023-10   31514   µö·¯´×¼­¹ö
2023-10   44085   µö·¯´×¼­¹ö