ZFS Block Stripe Size 질문

컴박   
   조회 1654   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

안녕하세요.

ZFS 질문이 하나 있습니다.


ZFS의 기본 블록사이즈가 32K 로 알고있는데.

이 32K 가 의미하는게 정확히 뭔지 잘 모르겠습니다.


0~32K 내의 파일을 캐싱하고 32K넘어가는 파일은 디스크의 원속도를 따라간다고 이해하면 될지..

단위크기 32K라는게 이해가 잘 되지 않습니다

짧은글 일수록 신중하게.
제온프로 2024-04
기본 저장 파일 크기.. 하드로 보면 Sector size 라고 보면 비슷하겠어요..

Text 나 HTML 등 작은 파일들이 많으면  Sector size 가 작은게 조금은 더 유리 하겠고..
동영상등 큰 파일들 주라면 Sector size가 큰게 유리하겟네요..

32K : 200KB 용량을 저장한다면. 32KB 사이즈라면.. 32K 씩 잘라 기록합니다.
64K : 3MB 용량을 저장한다면. 64KB 사이즈라면.. 64KB 씩 잘라 기록합니다.

별로 중요한 거 아니니 기본 값으로 하세요..
     
컴박 2024-04
앗 감사합니다..
박문형 2024-04
레이드에서 스트라이프 사이즈와 같은 개념으로 보시면 될 듯 하고 디폴트로 우선 셋팅해보시고 속도가 아예 안나오거나 이상하면 한두단계정도 크게 해도 될텐데 그에 따른 장단점이 있을 겁니다..

구글링해서 무엇인지 검색해보세요..
dateno1 2024-04
말 그대로 최저 단위입니다

32k단위로 디스크에 저장합니다

예를 들어 1k짤 파일을 기록한다면 32k의 영역을 읽은후 1k만큼 추가해서 쓰기를 반복합니다 (미리 32k의 영역을 할당후 0/32 -> 1/32 기록 -> 32k를 다 읽어냄 -> 2/32 기록 -> 3/32k....이런식으로 채운 데이터를 디스크에 기록하게 됩니다)

64k짤 파일을 쓴다면 2분할됩니다

연속된 적은 개수의 파일을 다루는 경우 (영상, 사진등) 좀 크게 잡는게 유리하고, 랜덤 접근하거나 작은 파일을 많이 다루어야한다면 작은게 유리합니다

영향은 일반적 RAID랑 별반 차이 없는 수준이니 관련 내용 검색해서 벤치등 찾아보시고나서 용도랑 파일 평균 크기 고려해서 결정해주세요

요즘 데이터 사이즈가 커지다보니 일반적 파일 저장용이라면 기본값보다 좀 크게 키워주는게 성능 향상에 보템이 됩니다 (반대로 DB처럼 적은 영역을 랜덤 접근해야하는걸 저장한다면 너무 큰 사이즈를 잡으면 1번 읽어올때마다 걸리는 부하가 급증하므로 성능이 하락됩니다)

이외에 올플레쉬로 구성하는 경우 사이즈 어떻게 잡아도 거기까지 큰 영향 안 줍니다 (HDD일때에 비하면 차가 미미해짐)
Wheein 2024-04
ZFS 에서는 ashift 와 record size 두 개념이 사용되고 있는 것으로 알고 있습니다.
- ashift : "섹터 사이즈" 정도로 대응되는데, 장치에 읽기/쓰기를 할 때 바이트 위치를 장치의 섹터 위치로 변환하기 위한 값으로, 장치 자체의 블럭 사이즈와 동일하게 설정되어야 하는 값입니다.
- record size : 아마 이게 궁금하신 "블록사이즈"로 보이는데, ZFS 의 블록사이즈는 고정값이 아닌 가변 길이(최소 512B)를 가지며, 실제로 설정하는 블록 길이의 최대값을 제한하는 파라메터입니다. ZFS 에서 파일은 여러 개의 논리적인 블록(record)로 나뉘고, 이 record가 실제로 기록될 떄는 여러 개의 sector 로 나뉘어 디스크에 저장되는 형태입니다. 가령 record size 최대 제한이 32K 라고 한다면, 120B 파일은 512B record 한 개, 7K 파일은 8K record 한 개, 80K 파일은 32K record 세 개로 저장되는 형태입니다.
record size 가 작으면 작은 읽기를 많이 할 때 불필요하게 같이 읽어지는 데이터가 적어져서 좋아지는 반면, record size 가 크면 용량이 큰 파일에 대해 record 총 갯수가 줄어들어 오버헤드가 줄어들고, 압축이나 deduplication 이 record 단위로 이루어지기 때문에 압축 효율 등이 증가하는 이점이 있습니다.

https://www.high-availability.com/docs/ZFS-Tuning-Guide/#record-size-recordsizen 여기에 관련하여 예시와 함께 설명이 잘 되어있는 것 같습니다.


QnA
제목Page 150/5725
2015-12   1765942   백메가
2014-05   5240495   정은준1
2024-04   1570   총알탄사나이
2024-04   2099   JJAMTIGER
2024-04   2881   빡시다
2024-04   1691   늘맑음
2024-04   2068   구차니
2024-04   2506   2CPU최주희
2024-04   1969   제갈기천
2024-04   1754   어석
2024-04   1469   뚜뚜김대원
2024-04   1524   미담
2024-04   1931   민경열
2024-04   2615   zhyoon
2024-04   1649   Rich
2024-04   3453   PC배우미
2024-04   2043   뚜앙
2024-04   1570   Sakura24
2024-04   2002   dragoune
2024-04   1760   fLog
2024-04   2593   sasaz
2024-04   2660   회원