박문형 2014-01

제가 알고 있기로는 넥센터와 같은 원리라면 캐쉬가 있는 레이드 카드에서 퍼포먼스가 더 떨어집니다.

타미케이 2014-01

OS 용 하드는 (여기서는 ssd) 그냥 메인 보드에 있는  SATA에다가 쓰고 (RAID없이요) 나머지 3개는 RAID 바이오스 또는 쎄팅에 들어가셔서 RAID5로 세팅하시면 됩니다. Cache가 제대로 있고 속도가 좋은 RAID카드라면 jbod로 soft raid쓰는것보다 빠를수도 있습니다. 하지만 soft raid도 세팅이 좋으면 hard raid 속도 부럽지 않다고 알고 있습니다. 어중중한 raid 카드들보다는 software raid가 더 빠릅니다.

만약 하드 raid를 쓴다면 soft raid를 쓸필요는 없구요. 하드 레이드를 써서 zpool에다가 넣게 되면 하드 하나를 zpool에다가 넣는것과 같습니다. 완전 하드 raid의 경우 OS에서 카드에서 설정된 raid를 하나의 하드디스크로 봅니다. zpool을 만들게 되면 추후에 zpool을 확장시킬수 있다는 장점이 생깁니다. 하지만 그렇게 된후에는 퍼포먼스가 틀리게 나올수 있습니다. 어떤 데이타가 어떤 디스크에 들어가는지 우리는 모르게되기 때문이겠죠...

드르렁 2014-01

VMware EXSi 에 Guest OS로 Nas4Free를 올려놓고 SATA 3TB 3개를 VMFS만들어서
Nas4Free에서 RAIDz로 묶어버렸습니다.
디스크 퍼포먼스가 형편 없어서 하드웨어 RAID로 만들면 어떨까 싶어서 질문을 드렸던건데
EXSi상의 설정 문제일수도있고 Nas4Free문제일수도 있고 복합적인 부분이라서 단독으로 테스트해봐야겠습니다.
RAIDz사용을 할거면 하드웨어 RAID를 고집할 필요는 없겠네요.
답변 감사합니다.

설영수 2014-01

제가 예전에 올린 질문글 입니다.

http://2cpu.co.kr/bbs/board.php?bo_table=QnA&wr_id=353176&sca=&sfl=wr_name%2C1&stx=%EC%84%A4%EC%98%81%EC%88%98&sop=and&page=2

여담이지만 제 경우 ZFS 사용후 하드웨어 Raid Card를 전부 버렸습니다. ^^;

KANGE님 2cpu는 업체명이나 실명만 됩니다.

타미케이 2014-01

바꾸도록하겠습니다.

타미케이 2014-01

그런데 안바껴요.... 관리자님께 이메일 보내겠습니다...

타미케이 2014-01

바겼습니다...

epowergate 2014-01

조금 들어가 보면요...
ZFS가 좋은것은 RAIDz를 하면서 COW를 한다는 겁니다.  즉, DISK에 WRITE이 검증되지 않을때 까지 WRITE 성공을 return하지 않는겁니다.  뭐냐하면, 기존의 SOFTWARE RAID는 사용자 프로그램에서 파일을 생성해도 이것이 메모리까지만 가지 DISK까지는 절대로 가지 않습니다.  FLUSH나 FSYNC를 해도 마찬가지 입니다.  LINUX의 VFS Cache가 DEVICE로 내려가는것은 보장하지만 SOFTWARE RAID는 Main Memory를 DEVICE Cache로 사용하기 때문에 생성된 FILE WRITE가 Memory까지만 가게 됩니다.  이런 의미에서 보면 ZFS는 확실하게 기존의 SOFTWARE RAID+File System 보다는 획기적이기는 합니다.  SubVolume을 생성한다거나, snapshot, dedupe등은 사실 그렇게 좋은건 아니구요.  ZFS에서 snapshot이나 Dedupe등을 사용하려면 (기존 filesystem 대비)엄청난 CPU와 메모리가 필요합니다.  DeDupe의 경우 1TB DISK당 1GB Memory를 권장하지요.  이정도 Resource를 사용할 수 있다면 기존 EXT나 XFS에서도 충분히 할 수 있었을 겁니다.  그런 의미에서 BTRFS ZFS의 방향을 따르는것 같습니다.

단점이라면, small random IO에 대해서 무지하게 느리다는 겁니다.  느려도 너무 느립니다.  오죽하면 MySQL, Oracle등의 Tuning 가이드가 있을까요.

그래서, 일반 file server로 사용하신다면 zfs도 좋을겁니다.  그냥 파일만 저장하면요.  그 외에는 비추 합니다.

그건 그렇고 Linux ZFS 경험 있으신분들 있나요? 현업에서 적용 가능한 수준인가요?

드르렁 2014-01

감사합니다. VMWare ESXi 게스트 OS에서 테스트해봤는데 직접 한번 해봐야겠습니다.

타미케이 2014-01

제가 지금 우분투에서 zfs쓰고 있습니다. 얼마전까지는 raidz2 쓰다가 요즘에는 raidz (디스크3개) 쓰는데요. 조만간 미러로 바꿀예정입니다. zfs가 솔라리스 네이티브라서 솔라리스로 갈까도 고민중입니다만 제가 OS 를 USB에다가 넣어서 쓰는데 이상하게 솔라리스는 USB에 설치후 부팅이 안되더라고요. virtual box 도 고향이 같으니까 잘돌아가지 않을까 하는 마음에서 고민중입니다.

raidz를 쓰고 있는데도 아주 크게 속도가 않좋다는 느낌은 받지 못하고 있습니다. 하지만 여기저기 읽어보니까 모두 그냥 미러를 쓰라고 하더라고요... 하다못해 oracle자체 웹싸이트에 zfs 메뉴얼에도 그렇게 나와있어서 저도 미러로 가려고 하는중입니다.

그런데 한가지 zfs를 우분투에서 만들고 나서 freeBSD에서 마운트를 했더니 파티션블럭싸이즈가 효율적이지 않다고 워닝이 뜨더라고요... 아직은 linux zfs 가 100% 완성단계가 아닌것 같습니다...

epowergate 2014-01

ZFS의 기본 block size가 32KB, 64KB, 128KB입니다.  반면 XFS나 EXT가 4KB지요.  구조적으로 small random io가 좋을 수가 없지요.  CPU등의 자원도 많이 사용할 수밖에 없구요.  결정적으로 oracle license가 GPL이 아니기 때문에 그거 피해가면서 완벽하면서 안정적인 FS만들기 어려울 겁니다.
저는 개인적으로 성능보다는 안정성을 우선시 합니다.  성능은 아주 나중에...

타미케이 2014-01

zfs 는 CDDL 라이센스에 포함되어있는데 gpl 과 cddl 은 사실 거의 비슷한걸로 알고있습니다.

http://www.tldrlegal.com/license/gnu-lesser-general-public-license-v3-(lgpl-3.0)
http://www.tldrlegal.com/license/common-development-and-distribution-license-(cddl-1.0)

거의 비슷한데 Sun에서 약간에 트위스트를 넣어 다른 회사에서 자기들이 개발하여 오픈소스로 공개한 기술로 다른회사의 새로운 재품을 만들어 파는것을 방지하기 위한것 같은데... 좀 궁금은 합니다. 아주 정확하게 아시는분은 좀 알려주세요.

epowergate 2014-01

좀더 복잡합니다.  하지만 CDDL에서는 다른 회사가 제품을 만드는 것을 못하게 하는것은 아니고, SUN에 Source Code등을 제공하여 SUN에서 검증 및 허락(인증)을 받아야 가능하다는 내용입니다.
대표적인 회사가 NexentaStor입니다.