일단 갑자기 든 아이디어 였습니다. 

사업은 기다림의 연속이고 머리식히는 용도로 시작한건데 아무리 찾아봐도 다른데서 하는 사람은 못찾겠더군요.

그런데 오늘 저랑 동일한 짓? 을 한 외국인을 발견하긴 했습니다. 저보다 한 보름 먼저 시작한거 같더군요. 역시 세계적 관점에서 나만 미친놈일리가 없죠. Mining board NAS RAID setup. Is it viable? 🤔  다만 이친구는 윈도우로 해서 13개 이상 인식에 실패했더군요.

간단한 구성입니다.

중고보드사고 싸구려 오픈케이스 장착하고 cpu도 i7-6700 으로 중고, 램은 가지고 있던 8기가 ddr4 스틱 두개 총 16기가 

사타포트 4개중 2개는 미러로 해서 truanas 설치하고, 파워는 1600와트라 gpu안쓰면 부족할것 같지는 않더군요.

ssd는 테스트용으로 256G 18개 +  싸구리 방열판 18개 +두번째 그림의 PCI-e x1 to NVMe 아답터 20개 알리에서 주문해서 오를 올겁니다.

여러가지 문제가 있을듯 하지만.. 기술적인건 대충 해결할 실마리를 가지고 있습니다.

마지막으로 총 4GByte/sec 에 불과한 대역폭을 최대한 쓰기위해 브로드컴 25지 듀얼 네트워크 카드를 달았습니다.

예상되는 용량은 RAIDD-Z3 사용시 3860TByte 용량에 총 내부 속도는 개당 250MByter/sec 으로 총 3750Mbyte/sec 가 최대인데 스펙상 최대치인 4GByte/sec 에 근접한 속도만 나와주면 만족입니다. 

아마도 전부 PCI-e 2.0 x1 으로 인식될거로 예상 됩니다.

지금은 256으로 했지만 잘되면 4테라 18개? 로 안정적으로 최대속도인 3750Mbyte/sec을 뽑아주는 플레시 나스가 되길 기대해 봅니다.

물론 잘될리는 없어보입니다만..해결해 봐야죠.. ㅎㅎㅎㅎ

아직 도착하지 않은건 PICO ATX  2개랑 2번째 그림의 아답터 들이네요

테스트결과도 뒤에 알려드리죠.

Open Flame Chassis             KRW  10,000

ASUS Mining Expert(SH)            KRW110,000

Pull Moduler ATX 700W PSU         KRW   65,000

i7-6700 CPU(SH)                KRW   78,750

AG400 CPU Cooler                KRW   21,900

2x DDR4 8G UDIMM(SH)        KRW   30,000

18x ESO256G NVMe SSD 256GB     KRW 304,000

18x PCI-e x1 to NVMe Adaptor    KRW   61,500

2x PICO ATX 300W PSU            KRW   37,400

Broadcom dual 25G(SH)            KRW 100,000

2x 256G sata SSD(SH)                    KRW   60,000

-------------------------------------------------------------

G. Total                        KRW 878,550 (Incude VAT)

대충 600달러 정도 든거 같습니다.

그리고 결국 18개 다달았고 아주 많은 우여곡절 끝에 18개 다 인식 성공

TRUENAS 에서도 전부 인식했습니다.

RAID-Z3 로 구성하면 읽기속도는 아주 좋겠지만 쓰기는 형편없을겁니다. 그래서 쓰기 캐시 용으로 512기가 2.5인치 하나 추가해 주려 합니다.

볼륨구성하고 x드라이브로 smb 마운트 하는데 케이블이 부족해 25G 한개로 했습니다.

생각보다 안나오네요.. 점보프레임은 9000으로 했고..뭐가 문제인가 알아보는 중입니다.

그냥 파일 복사 테옰해보면 읽어올때는 초당 700메가바이트 쓸때는 초당 350메가바이트 정도 나옵니다.

ASUS B250 Mining Expert 메인보드(PCIe 1.0 x1 슬롯 18개)는 채굴 모드에서 사용됩니다.

PCIe 1.0 x1은 최대 250 MB/s를 지원합니다.

18개의 NVMe 드라이브는 최대 대역폭으로 250MB/sec × 18 = 4.5 GB/s가 필요합니다.

그러나 B250 칩셋은 모든 18개 슬롯에 대해 최대 4 GB/s만 지원합니다.

RAID-Z3를 사용할 경우 실제 데이터 읽기 속도는 15배 증가할 수 있습니다.

따라서 최대 예상 속도는 3.75 GB/sec입니다.

따라서 최대 예상 단방향 속도는 30 Gbps입니다.

이 대역폭은 전체 대역폭이며, 풀 듀플렉스가 아닙니다.

실제 네트워크 드라이브로 사용 시 단일 25 Gbps 네트워크 카드가 충분합니다.

네트워크 드라이브에서 로컬 RAM 드라이브로 20Gbps 복사 속도를 달성했습니다.

이것이 제가 얻을 수 있는 최상의 결과라고 생각합니다.

제가 세팅한 바이오스 설정입니다.

Key BIOS settings

1. PCIe link speed settings

   • Advanced → System Agent Config → DMI/OPI Conf → DMI Max Link Speed → Gen 2 (Some GPUs recommend Auto)

   • Advanced → PEG Port Conf → PCIEX16_1 Link Speed → Gen 2

   • Advanced → PCH Config → PCI Express Config → Gen 2

2. Disable ASPM-related settings

• PCI Express Native Power Management → Disabled

• Native ASPM → Disabled

• PCH/SA PCIe ASPM Control → Disabled

Enable required options

• Advanced → Mining Mode → Enabled

• Advanced → System Agent Config → iGPU Multi-Monitor → Enabled

• Boot → CSM → Disabled

Power Management

APM Config → Restore AC Power Loss → Power On

Boot → Fast Boot →Disabled

레딧에 올렸더니 양덕들이 재미있어 하네요.

I made 18 NVMe TrueNAS Scale using ASUS MINING EXPERT mobo : r/truenas