Sakkaro홍승현 2016-10

NAS OS도 여려가지가 있고 사용 목적에 따라 추천해드릴 OS도 여러개 입니다. 자동차가 필요하다고 레이만 추천할 수 없고, 포터만 추천 할 수 없듯이요.

파일 시스템의 안정성과 OS의 안정성이 매우매우 중요하고 쓸만한 WebGUI가 있으면 좋겠다, 라고 하시면 FreeNAS 추천합니다.
장점: 램이 좀 빵빵해야 하고, ECC면 더욱 좋습니다. CPU도 좋으면 쓰기 작업이나 여타 파일 시스템 작업이 빨라지겠죠. 플러그인 기능도 있어서 Plex Media Server, couchpotato 등 NAS에 들어가는 어플들을 설치할 수 있습니다. WebGUI가 있어, NFS, CIFS (Windows Samba), AFP (Apple HFS+), iSCSI 까지 세팅이 빠르고, ZIL (SSD 케시 라고 생각하시면 됩니다) 기능등, 이거 하나로 중소기업 스토리지 돌리시는 분들도 있을 만큼 본연의 기능에 충실합니다. Compression on the fly, Dedup on the fly, Defrag on the fly, CoW 등 기능들이 많지만 기능들을 추가하시면 램이 더 많아져야 한다거나 프로세서가 고생합니다.
단점: 하드웨어가 좀 빵빵할 수록 좋습니다. ZFS 파일 시스템 특성상 한번 파일 시스템을 생성하면 고치기가 많이 힘듭니다. 처음부터 하드에 좀 투자를 많이 하셔서 설치 하시고, 그걸 오래 쓰신다고 생각하시면 편합니다. FreeBSD 기반이라 리눅스와는 좀 다릅니다.

파일 시스템의 안정성과 편의성이 중요하나 OS의 안정성 (추후 업그레이드 등)은 내가 삽질을 할 수 있다, 라고 하시면 Xpenology 도 좋습니다.
장점: 유명한 Synology의 해킨(?) 버젼입니다. Synology OS의 매우매우 편리한 기능들을 바로 사용할 수 있고, 시놀로지의 파일시스템은 MDadm raid를 써서 상당히 안정적입니다. WebGUI가 있고, NFS, CIFS, AFP등의 기능들이 있고, Audio Station, Video Station등 간단한 미디어 서버의 기능을 포함하고 있습니다. 하지만 다른 어플들도 플러그인의 형태로 설치가 가능합니다.
단점: 해킨(?) 버젼인 만큼, 버젼업이 좀 애매합니다. 몇 시간, 혹은 몇 일동안 파일 시스템이 내려가도 불평할 사람 없고, 본인이 불편하지 않으시겠다면, 이것도 나쁘지 않습니다.

OS의 안정성이 중요하고, 속도도 중요하고, 파일 시스템의 안정성도 중요하지만, 좀 삽질을 하며 배울 용기가 있다, 하시면 우분투로 가시는 게 좋습니다.
장점: 내가 원하는 것을 무엇이든 할 수 있습니다. 파일 시스템도, XFS, ZFS(ZFS on Linux가 있지만 추천하진 않습니다), BTRFS, EXT4등 여러가지가 있고, RAID도 MDadm Raid를 구성하거나 (XFS, BTRFS, EXT4등을 이용하여), 아니면 BTRFS RAID도 좋습니다. FreeNAS 처럼 SSD cache (B-cache) 기능이 있고, ZFS의 있는 기능 대부분이 우분투에서 실현 가능합니다 (전 BTRFS로 구성하여 쓰고 있습니다). 또한 Docker, LXC, LXD, KVM을 통해 컨테이너 기능과 가상화 기능을 쓸 수도 있습니다.
단점: 손이 많이 갑니다. 위에 말한 모든 것들을 커맨드로 먹여서 세팅해줘야 합니다. 구글에 검색하면 잘 나오지만 그래도 귀찮거나 힘들 수도 있습니다.

이렇게까지 쓰고, 리눅스는 정말 방대하기 때문에 부연 설명 들어가겠습니다.
Rockstor: CentOS 기반의 BTRFS파일 시스템을 쓰는 NAS OS입니다. USB로 부팅이 가능하고, Docker를 지원합니다. ESXi 처럼 부팅시 필요한 파일을 램에 로드하기 때문에, USB가 부트 미디어여도 별로 부담이 없습니다.
BTRFS: B-Tree File System으로 신생 파일 시스템입니다. 다른 파일 시스템보다 어려서 불안정 할 수도 있다고 생각 하실 수 있지만, 정말 많은 기능들이 BTRFS 툴에 들어 있습니다. Compression on the fly, CoW, Online dedup, Snapshot, RAID 기능등 정말 많죠. 특히 페이스북과 구글에서 서버에 올리는 파일 시스템이 BTRFS니, 안정성은 걱정 안 하셔도 됩니다. 하지만 RAID56는 지금 코드에 버그가 있어 불안정하니, RAID1 이나 RAID10으로 구성하셔야 합니다. 또한 레이드 구조를 온라인 상태에서 바꿀 수 있어 편리함이 있고, 레이드에 온라인으로 그냥 하드 추가가 가능합니다.
MDadm: 오래된 리눅스의 RAID 유틸로서, 파일 시스템들을 레이드로 묶어줍니다. Synology도 이 기능을 쓰고 있고, 정말 많은 사람들이 썼고, 지금도 쓰고 있습니다.

음.. 저녁 먹을 시간이네요. 여기까지 적겠습니다.
여기까지 읽으시면 아시겠지만, 전 BTRFS 참 좋아합니다. 한번은 쳐다봐주시는 것도 좋을 듯 합니다.

그리고 마지막으로 레이드는 백업이 아닙니다. 아무리 레이드가 견고해도, 백업 하나는 다른 곳에 두시는 것이 맞습니다.
그럼 수고하세요.

Christopher 2016-10

정성이 가득한 답변 감사합니다.
1. BTRFS가 아직 불안정하다는 의견이 많아 꺼리고 있습니다. Raid 6예정이거든요.
2. Rockstor은 무료지만 유로 버전도 있기에 무료임에 따른 기능 제한등이 우려된다는 글을 보고 접었습니다.
3. Xpenology는 워낙 좀 애매해서요...Synology정식지원도 아니고 깨진다는 사례도 많아 Stable하게 사용하기 어려울 것 같습니다
4. 약 20TB를 사용할 예정인데 Esxi사용예정이고 볼륨하나가 관리하기 편해 HW RAID예정입니다. SW RAID는 Raid 5이상은 Write 속도나 rebuild 속도가 많이 느려 제외하였습니다.
5. OMV에 대한 말씀은 없으시네요...ㅎㅎ
ZFS만 제외한다면 말씀해주신 FreeNAS와 OMV의 장점은 같다고 볼 수 있을 것 같습니다.
FreeNAS보다는 OMV를 많이들 추천하셔서 OMV 위주로 질문드렸는데 ZFS를 제외하고 FreeNAS의 특별한 장점이 있을까요?
6. 20TB정도면 백업을 하는 것도 힘들 것 같아요...ㅠㅠ

답변 다시 한번 감사드립니다.

Sakkaro홍승현 2016-10

ESXi에 가상화로 사용하신다면 두말 할 것 없이 FreeNAS로 가셔야 합니다. 하드웨어 레이드에 비해 FreeNAS나 BTRFS가 갖고 있는 장점이 너무나도 많습니다. 그 전에 제가 해놓은 세팅부터 설명 드릴게요. 아마 비슷하게 가실 거 같아요. 이야기에 관심 없으시면 넘기셔도 됩니다만, 도움이 될 거라 생각합니다.

저도 ESXi에 HW RAID1로 SSD 2개와 HDD 2개가 잡혀 있습니다. 그 걸로 ESXi Local DataStore 2개를 구성해놓았습니다 (하지만 HDD 2개는 곧 빼버릴 듯 합니다). 부팅은 USB3.0 Flash memory에서 하고 있고요. 모든 것을 램에 로드해 구동되는 ESXi이니 USB가 관리 하기 쉬워 그렇게 채택했습니다.
SSD Local Datastore에서 부팅 되는 가상머신은 Pfsense와 Arch Linux, 그리고 FreeNAS 입니다. Pfsense는 방화벽이고요, Arch Linux는 Docker와 LXC용으로 쓰고 있고요, 그리고 마지막으로 FreeNAS가 있습니다. FreeNAS에서 RAIDz1 2개의 Pool들이 NFS로 ESXi에게 Network Datastore를 제공하는데요, 여기서 윈도우 가상머신 몇 개와, 리눅스 가상머신 몇 개, 그리고 여러가지 그냥 이미지 몇개가 굴러가고 있습니다.

원래는 FreeNAS 대신에 Arch Linux가 BTRFS로 스토리지 서버도 같이 겸했었는데요 (그래서 Local Datastore에 그냥 남아있습니다. 그 때 세팅에서 바꾸지 않아서요), FreeNAS로 바꾼 이유는 사실 제가 원해서가 아니라 어쩔 수가 없어서였습니다.

FreeNAS든 리눅스 기반이던 진지하게 스토리지 가상머신을 생각하신다면, VT-D로 스토리지 컨트롤러를 패쓰스루(Passthrough)해주셔야 합니다. RDM으로 하다 풀려서 데이터 날라가는 사람도 있고, 그냥 가상 디스크를 사용하시면 Thoughput이 딸리거나 효율성이 떨어집니다. 저는 원래 하드 8개로 BTRFS를 구성하고 있었는데요, Intel 보드에 있는 HBA 하나를 패쓰스루 해서 하드 6개를 연결하고, LSi RAID 보드를 IT모드로 flash해서 하드 2개를 연결해서 쓰고 있었습니다. LSi RAID보드 하나 더는 패쓰스루 하지 않고, ESXi Local Datastore로 사용하고 있었고요. 어느날 Arch Linux VM 업데이트를 하고 재부팅을 하는데 부팅이 되지 않습니다. 보니 에러가 나 있더군요. 알아보니, ESXi 상에서 레이드카드 대부분이 리눅스 가상머신으로 패쓰쓰루 하는 드라이버인지 유틸리티인지가 새로운 커널이랑 뭔가 안 맞습니다. Hyper-V나 KVM 상에서는 문제가 없는데 ESXi와 리눅스 가상머신의 문제였어요 (그리고 그 문제는 아직 까지도 고쳐지지 않았습니다). 그래서 어쩔 수 없이 하드 2개를 RDM으로 임시방편으로 설정해 Arch Linux를 부팅하고, 레이드0으로 고치고, 하드 2개를 Pool에서 제거해서 LSi의 패쓰쓰루를 해제하였습니다. 결론은 FreeNAS였고, 하드 3개를 더 구매해, 있던 하드 2개와 새 하드 3개로 RAID5를 구성해서 RAIDz1하나를 구성하고, Arch Linux BTRFS에 있는 데이터를 전부 FreeNAS RAIDz1 pool로 가져왔습니다. 그리고 Arch Linux의 BTRFS 레이드를 깨뜨리고, 하드 1개를 더 사, 또 다른 RAIDz1를 FreeNAS에서 구성했죠.

음.. 지루한 이야기는 여기까지 하고, 질문 답변 드리겠습니다.
1. RAID6는 하신다면 BTRFS는 피하시는 게 맞습니다. 전 아직 간단한 것들은 BTRFS RAID10이나 BTRFS RAID1로 구성해서 쓰지만 그 이상은 무리죠.
2. Rockstor는 무료에도 별로 제한되는 기능은 없으나, RAID6를 하고 싶어하신다 하셨기에 BTRFS를 사용하는 Rockstor는 안 쓰시는게 좋겠습니다.
3. 동의합니다.
4. 하드웨어 레이드를 말씀하셨는데요, ZFS나 BTRFS 레이드는 self-healing을 합니다. 하드웨어 레이드는 bitrotting에 취약하고요. 무슨 소리냐 하면, 어떤 이유에서라도, 하드에 저장되어 있는 정보들이 조금씩 바뀌었는데 (예를 들어, 몇 군데에 0 과 1이 바뀌였다고 합시다), 그럼 하드웨어 레이드는 그걸 보고, "이게 맞는 거구나" 라고 새로 페리티를 쓰는 반면, BTRFS나 FreeNAS는 그걸 보면, 있는 정보들과 대조해서 맞는 데이터로 복구합니다. 제가 위에 써 놓은 거 처럼, ESXi 로컬 데이터스토어용으로는 하드웨어 레이드가 좋습니다. 게다가 리빌딩 속도와 쓰기 속도 문제를 제기하셨는데요, BTRFS와 ZFS의 경우, CPU가 아톰이나 i3 이지 않은 이상은 하드웨어 레이드보다 더 오래 걸리지 않습니다. 게다가 BTRFS는 B-cache, 그리고 ZFS는 ZIL이 있는데, SSD cache 기능이 있어서, 쓰기 속도도 많이 빠릅니다. 20TB를 쓰고 싶으시다고 하셨는데 그건 아래에 좀 자세히 적어드릴께요.
5. OMV는 많이 써보지 않았습니다. 리눅스를 쓸거면 BTRFS를 쓰자는 주의인지라, 하지만 위에 말씀드린데로, OMV는 ESXi에 가상화로는 레이드카드나 사타카드 패쓰쓰루가 불가능하니 안 쓰시는 게 좋을 거 같습니다. OMV와 FreeNAS가 OS상으로는 하는 것이 비슷할지 모르지만, ZFS는 정말정말 파워풀한 그리고 다재다능한 파일시스템입니다. FreeNAS를 사용하시면 ZFS는 당연히 사용하시는 거기 때문에, 제가 보기엔 OMV랑 FreeNAS는 같은 급의 NAS os라고 봐줄 수 없습니다.
6. 큰 용량의 백업을 하는 것이 힘들고, 개인적으로 쓰는 NAS면 더더욱 백업이 힘든 건 사실이지만, RAID는 백업이 아니란 것을 확인 시켜드리고 싶었습니다. 레이드도 순간 확- 가버립니다. 중요한 데이터는 콜드 스토리지나 Off-site 백업 안 해놓으면 큰일 납니다. 20테라를 쓰고 싶으시다고 하셨는데, 하드를 몇개나 넣으실 수 있고, 얼마까지 생각해 놓으셨는지는 모르겠습니다만, ZFS를 쓰시면, RAIDz1 2개를 다시 레이드로 묶을 수 있습니다. 하드웨어 레이드로 치자면, RAID50, 혹은 RAID60 이런 식으로요. 이렇게 하시는게 RAIDz2 하나로 20테라를 구성하시는 거보다 속도도 훨씬 빠르고, 안정성도 (나름) 뛰어납니다 (일단 리빌드 시간이 적어지니까요).

마지막으로, 정말정말 중요한 데이터는 RAID10 혹은 zMirror + zStripe (ZFS RAID10이죠)로 따로 구성해 보관하시고, 잃으셔도 되는 데이터만 RAIDz1이나 RAIDz2로 구성하시는 것도 방법입니다.

Christopher 2016-10

제가 실제로 경험해보지 못한 부분을 말씀해주시니 제 계획에 미흡한 부분이 많았음을 깨닫게 되었습니다.
다시 한번 계획을 점검해야 할 것 같습니다.
답변 감사드립니다.

izegtob 2016-10

NAS OS고 뭐고
아무것도 모르는상태로 우분투 12.10 잡고
1~2년 삽질하고

지금은 우분투 16.04 서버 버젼 입맛에 맞게 커스텀해서 씁니다
원하는기능있으면 직접 넣어서 써서 플러그인 이런거 신경안써도 되서 좋습니다.

파일시스템은 ext4 + mdadm 씁니다.

Christopher 2016-10

제 질문에 Ubuntu를 커스텀하게 사용한다고 하면 생각나는 분이 izegtob님이셨습니다.ㅎㅎ
NAS OS는 사용해보지 않으셨나요?

izegtob 2016-10

아쉽게도 NAS OS는 한번도 못써봤어요
써보고싶어요 ㅠㅠ
써봐서 뭔가 아 이거 좋은 기능이다 싶으면
반대로 뽑아오고 싶기도한데

현재 시스템이 너무 만족 스러워서 ;;
요즘 한가지 신경쓰이는게 있다면 NFS의 server side copy의 활성화 일려나요
SMB는 잘되는게 NFS는 잘안되요...

izegtob 2016-10

아 저 내일 4테라 5개로 레이드6 합니다 하하.
LSI 레이드카드 꽂아두고
무조건 소프트레이드만 씁니다 (mdadm)

아 그리고 20테라치
백업에 관한 팁을 드리자면

아마존 클라우드 드라이브?
무제한 용량이라길레
3개월 써봤는데
단일 대용량 파일 업로드시 문제 많이 생기고
파일 몇몇은 해쉬도 달라져서

그냥 빡쳐서 머니로 해결합니다
2.5인치 1테라 하드 백업할때마다 하나씩 추가로 구입해서
전용 보관함에 넣어둡니다...
지금은 4개 있네요

Christopher 2016-10

역시 머니가 답!

엠브리오 2016-10

FreeNAS 및 NAS4FREE 두 제품은 FreeBSD를 뜯어 고쳐서 만든 겁니다.
OMV는 데비안리눅스를 수정해서 만든것이구요.
리눅스와의 호환성 측면에서는 OMV가 낫겠습니다.

세가지 모두 훌륭한 웹 인터페이스를 갖추고 있습니다만,
때로는 이게 더 불편할 경우도 있습니다.

시간이 좀 있다면 izegtob님 처럼 우분투 서버용 버전을 설치해서 꾸며보는 것도 좋습니다.
리눅스를 익혀두는 것은 나중에 두고두고 도움이 됩니다.

Christopher 2016-10

답변 감사합니다.
참고하도록 하겠습니다.

은밀하게빠… 2016-10

저는 그냥 토랭이 다운로드 dlna  ftp 요정도 기능만 필요해서 라즈베리파이나 odroid xu4 정도 저전력 보드에 외장하드 달아서 우분투로 써요. 트랜스코딩 안하고 그냥 단순히 업다운만 하니 성능에 아무 문제 없이 몇날 몇일 안꺼도 잘버티네요.

Christopher 2016-10

답변 감사합니다.
저도 우분투를 고려해봐야겠네요.

병따개님 2016-10

3~4년정도 홈서버를 사용하며 여러 os를 전전했습니다.
대충 기억나는대로는
넷북 - 우분투 데스크톱 > nas4free
N54L 구입 - 윈도우 서버 > omv > nas4free > freebsd > omv > archlinux
ts140구입 - 윈도우 서버 >ubuntu > esxi > proxmox(현재)

리눅스라곤 아무것도 모른느상태로 서버는 리눅스다 라고 어디선가 본거만 기억나서
처음엔 우분투 데스크톱 + webmin + btrfs의 snapshot을 이용한 롤백
으로 시작했는데 그냥 웹에서 검색해서 명령어만 복붙하며 썼었습니다..
윈도우 서버는 간단하게 프로그램을 설치해서 서비스를 돌리기는 쉬운데 좀 깊이 들어가려면 리눅스보다 많이 어렵더군요.
nas4free나 freenas도 간단하게 기 좋습니다. jail이라는 강력한 기능도 있어서 잘쓰면 좋지만 인터넷에 팁을 찾기가 너무 힘들어서 포기했습니다.
omv도 nas4free처럼 초보와 고수에겐 좋겠지만 중수로 넘어가려하면 커스텀된 os인지라 직접하긴 어렵고 팁도 찾기 힘들어서 포기했습니다.
archlinux는 우분투랑 별 다를건 없고 이때쯤 jail과 비슷한 docker란걸 알게되서 참 편하게 사용했네요.
근데 윈도우를 virtualbox로 돌렸는데 이게 꽤 불안정한거같아서 esxi를 거쳐 데비안기반에 kvm,lxc가상화를 웹ui로 편하게 쓸수있는 proxmox쓰고있습니다.
컨테이너 가상화를 esxi게스트에서 돌리려니 퍼포먼스 낭비가 좀 있는거같아서요.

nas4free쓸때 만든 hdd 6개로 raidz(zfs용 raid5)만든게 아직도 안깨지고 잘사용하고있습니다. 중간에 하드가 2번 정도 고장나서 리빌드도 경험하고요.
소프트웨어 레이드임에도 쓰기속도가 엄청 빠릅니다. 기능도 참 다양하고요.

윈도우의 스토리지 스페이스는 zfs보다 기능도 더 좋고 쓰기도 편합니다.
단 문제가 레이드5에서의 쓰기속도가 느려서 전 못쓰겠어요. 초당 40MB/s 나오더군요. ssd 캐시를 쓸순있지만 비싸서...
zfs는 많이 빠릅니다. 밴치툴로는 램캐쉬 덕분에 너무빠르게나와 제대로 측정이 불가능하고 대용량 복사시 200MB/s정도 나오는거같은데 측정은 정확히 해보지 않았네요.
나중에 ssd가 데이터 저장용으로 쓸만한 가격이 되면 zfs를 버리고 윈도우 스토리지 스페이스로 가려합니다.

zfs로 하드 레이드를 잡아놓으니 os를 여기저기 옮겨다녀도 금방 복구가 되니 여러가지를 써봤네요.
docker까지 쓰기 시작하면서 os재설치부터 모든 서비스 복구까지 1시간도 안걸리게 되었네요.

결론은 우분투+docker+zfs 참좋습니다.

Christopher 2016-10

정성이 가득한 답변 감사합니다.
참고하도록 하겠습니다.

배병렬 2016-10

좋은 의견 감사합니다.  스크랩 해갑니다..

박문형 2016-10

넥센터는 생각이 있으신지요?

솔라리스에서 나왔다고 봐야 하는데...

18TB이하에서는 무료이고 꽤 많이 사용하는 유틸이죠..

송진홍 2016-10

답변들이 훌륭하군요. 저도 스크랩 해갑니다.^^

초보IT 2016-10

xpenology 사내 스토리지로 쓰는데 1년 넘게 아무런 문제 없이 잘 사용중입니다. 안정된 버전에서 버전업만 안하시면 충분히 괜찮은 선택입니다.

Christopher 2016-10

DSM이 버전이 올라가면서 보안 업데이트도 되는데 그걸 포기하는게 좀 그래서요.

눈팅돌이 2016-10

많이 배워갑니다.  초보가 좀 참고해보면서 시작해 볼만한거 없을지요. 리눅스를 모르는지라..

Christopher 2016-10

그렇다면 XPenology 추천드립니다.
초보가 하기에는 매우 쉽습니다.

izegtob 2016-10

아 우분투 말입니다만

오리지널 우분투 쓰지 마시고

루분투 14.04로 시작해보세요
루분투 16.04는 쓰지 마시구요..(이상해졌어요)

루분투 12.10 --> 루분투 14.04 --> 우분투 마테 16.04 --> 우분투 서버 + 커스텀GUI

저는 이렇게 왔습니다.

Christopher 2016-10

돌아돌아 갈 바에야 한 번에 가는 게 낫지 않을까요?

Sakkaro홍승현 2016-10

이상해졌다기 보단 upstart에서 systemd로 넘어가면서 많은 것이 바뀌고 있습니다. 익숙하지 않으신 분들은 많이 햇갈려하실 거에요. 하지만 이제부터 나오는 우분투들은 전부 Systemd인 만큼, 16.04로 시작하시는 것도 괜찮다는 게, 제 생각입니다. LTS면 5년 지원은 하니, izegtob님께선 14.04를 계속 쓰시고, 가상머신이나 테스트 머신에 16.04를 깔아 써보시면서 익숙해진 다음 18.04 LTS가 나올 때 쯤 판올림하시는 것도 나쁘지 않을 거 같습니다.