안녕하세요.
랩에서 사용하는 서버를 임시로 맡아서 셋업을 하고 있습니다. 하나하나 찾아서 하다보니 시간도 많이 걸리고 제대로 한다는 확신이 잘 서질 않네요.
헤드노드와 계산노드에의 로컬 하드에 CentOS 7 이 깔려있습니다. 슬럼 사용 중이구요. 계산노드 중 하나에 스토리지 어레이 연결되어 있고 home 폴더와 작업공간 폴더는 헤드노드 및 계산노드에 마운트 되어 있습니다.
질문1. 사용자 계정 sync 문제
헤드노드에만 사용자 계정을 만들었습니다. 그랬더니 계산노드 가면 아이디가 해당 노드에 존재 하지 않으니 i have no name 이 뜨더라구요. 일일이 계정을 생성할 수 있겠지만 다른 방법이 있을 것 같아서 질문 드립니다.
질문2. 공유 파일 (bin, lib) sync 문제
애플리케이션들은 스토리지 /share/apps 폴더를 만들어 헤드노드 및 계산노드에 마운트 해놓은 상태입니다. 그런데 /usr/lib, /usr/sbin, /usr/lib64 등의 폴더는 어떤 식으로 계산노드에 sync 를 해야 하는지 궁금합니다. 그냥 rsync 로 라이브러리 추가할 때마다 동기화를 해야 하나 생각하고 있는데 제대로 하는 것인지 궁금하네요. 질문 및 상황이 정확하지 않을까해서 상황을 다시 씁니다.
헤드노드 및 계산 노드 각각에 CentOS 7을 로컬 디스크에 설치하여 각 노드에 CentOS 7 이 독립적으로 설치되어 있습니다. 어떤 식으로 하나의 특정한 노드에 있는 /usr/bin 이랑 /usr/lib64 를 다른 노드들에 동기화 할 수 있을까요?
2. 헤드노드에 /tools (예를 들어) 디렉 만들어 3rd 파티 툴 때려 넣은후에 computing 노드에서 NFS마운트 해서 쓰면 됩니다
그러면 계산노드 환경이 동일해집니다
LDAP 등으로 하면 좋기는 한데 시스템관리에 자신 없으시면 권장하지 않습니다. LDAP 서버 장애나면 재앙입니다.
2. 모통 sync하지 않습니다. Application을 설치하면 모든 계산노드에 pdsh등을 사용해서 한번에 뿌릴텐데 그러면 sync 필요없죠. 또한 계산노드에 application등을 자주 설치하는것도 아니기 때문에 중요치 않습니다.
다시 적지만 시스템관리에 자신있지 않으시면 /usr/lib, lib64, bin등 동기화 하지 마세요. 잘못해서 kernel 엉키면 해당 시스템 먹통됩니다.
어떤 app을 돌리는지 모르지만 해당 계산노드기 병목이 되서 전체 시스템에 영향을 줄수 있습니다.
그러면 헤드노드, 로긴노드, 컴퓨팅노드, 스토리지노드 모두 각각 분리하고 NIS 마스터 슬레이브를 모두 갖추어야합니다. 랩이라 하여 10대 미만으로 생각했습니다만.
NFS over RDMA가 NFS Protocol 자체의 overhead를 줄이기는 하지만 어째든 해당 서버가 모든 IO를 처리해야 합니다.
결과적으로 병목은 네트워크가 아니라 NFS host의 HDD에서 발생합니다.
물론 NFS over RDMA가 나쁜건 절대 아니니 사용하시는것 추천 드립니다
.
누군가는 Lustre를 추천할 수도 있겠지만 개인적으로는 절대 비추합니다.
피보는사람 너무 많이 봤습니다.
2. NFS 마운트도 있겠지만 되도록이면 PXE + Kickstart + Ansible 같은걸 써서, 컴퓨트 노드가 깡통 상태로부터 Desired state로 갈 수 있는 스크립트를 작성해놓으시기 바랍니다. 그래야 고장났을때 교체 및 재설치도 빠르고 Idempotency 덕분에 노드간 차이로 고생도 안합니다. 거대한 계산 데이터셋 정도나 스토리지에 넣지 실행 바이너리는 각 계산 노드에 들고 있는걸 권장드립니다. 라이브러리까지 스태틱하게 다 들고있는, 폴더 하나가 계산 패키지 하나로 완결성이 있는 그런건 공유를 해도 되지만 되도록이면 공유 라이브러리 같은것들은 패키지 관리자의 도움을 받는것이 좋습니다. 수동으로 엉키면 골치아파지기 때문에...
하다보니 결국 PXE + Kickstart로 설치 자동화 / Ansible로 나머지 설정을 하게 되었습니다
특히 Ansible 정말 좋은데 Ansible은 모든 노드들에 대해 어떠한 '상태'에 도달하라고 정의를 하기 때문에
설치 중간에 몇몇 노드는 연결이 끊어지거나 전원이 내려가거나 작업이 완수가 안된 노드들이 있어도
그냥 Ansible 커맨드 한 번 더 치면 패키지 설치가 완료된 노드들은 가만히 있고 안된 노드들은 목표 상태까지 도달하기 위한 작업을 수행합니다
그러니 모든 노드들에 대한 동기화가 쉽게 보장이 됩니다