안녕하세요.
AI 학습 데이터 저장, 공유 서버를 알아보고 있는데 아는게 부족하여 도움을 구하고자 문의드립니다.
(학습 서버 아닙니다.)
기능은 다음과 같습니다.
1.AI 학습을 위한 수십만장의 이미지 데이터를 서버에서 보관
2.재택 근무중인 라벨러(라벨 작업)들에게 이미지 데이터 파일을 공유(다운로드)
3.라벨러들은 작업이 끝나면 다시 서버로 파일 업로드
4.라벨러들이 업로드한 파일의 개수를 웹페이지로 모니터링(작업 진행사항 확인용)
5.대량의 파일 보관필요 (약 100테라)
6.리눅스로 운영
구체적인 컨셉은 고민중입니다. 생소한 일을 맡게 되어 쉽지 않네요.
대충 아무 서버나 사서 스토리지만 추가하면 될지 잘 모르겠네요.
조언 부탁드립니다.
예산이 부족하신 것 같지 않아 조언을 드려보자면,
1. NAS 시놀로지같은 비전문 영역 스토리지 서버를 영입하시는게 좋아 보입니다.
1) 장비 직접 구매의 경우 관리 주체가 문제
=> 1번 사항은 아마존 S3 스토리지로 대체가 가능하지만 지속적인 비용 vs 단발성 비용 (단, 유지비)
2. 데이터 보관 적재에 대한 백업
=> 100TB 정도되면 사실상 직접 관리보다는 아마존 S3 스토리지를 추천드립니다.
=> 백업에 대한 이슈 걱정을 하지 않아도되어 매우 안정적이기 때문입니다.
=> 속도 또한 안정적이고 상시 보장
3. 라벨러들이 업로드할 때 인터넷 속도 고려를 하지 않을 수가 없습니다.
=> 사용자들이 업로드하는 환경 조사도 덤으로 준비하셔야할 듯 합니다.
NAS를 고민해보지 않은거 아닌데 NAS와 app 서버 연동이 필요할 것 같은데 해본적이 없어 방법을 모르겠네요.
예산 성격상 물리적 서버를 구매해야하는 상황입니다.
내고 그것을 얼마만한 네트워크로 받쳐주는지
대략은 알아야겠죠..
저라면 비싸도 벤더제품 고려 합니다..
유지보수도 알아보고 백업서버도 준비하고요..
데이터는 철저한 백업과 리스토어만이 살 길입니다..
라벨링한 데이터까지하면 총 20~30기가 수준으로 예상되는데 프로젝트 규모에 따라 달라서 100테라 예상해봤습니다.
당장은 부족하지 않겠지만 몇년후 확장성까지 생각하면 HDD/SSD 추가되는 제품을 고려하고 있습니다.
말씀해주신것처럼 안전하게 벤더제품으로 마음이 기울었습니다.