최근 게시물

쓰기

hpc 계산노드 관리 (사용자 계정 관리, 공유 프로그램 관리)

버팔로윙

2019-04

2019-04-09 08:45:47

조회 4154 추천 0

안녕하세요.

랩에서 사용하는 서버를 임시로 맡아서 셋업을 하고 있습니다. 하나하나 찾아서 하다보니 시간도 많이 걸리고 제대로 한다는 확신이 잘 서질 않네요.

헤드노드와 계산노드에의 로컬 하드에 CentOS 7 이 깔려있습니다. 슬럼 사용 중이구요. 계산노드 중 하나에 스토리지 어레이 연결되어 있고 home 폴더와 작업공간 폴더는 헤드노드 및 계산노드에 마운트 되어 있습니다.

질문1. 사용자 계정 sync 문제

헤드노드에만 사용자 계정을 만들었습니다. 그랬더니 계산노드 가면 아이디가 해당 노드에 존재 하지 않으니 i have no name 이 뜨더라구요. 일일이 계정을 생성할 수 있겠지만 다른 방법이 있을 것 같아서 질문 드립니다.

질문2. 공유 파일 (bin, lib) sync 문제

애플리케이션들은 스토리지 /share/apps 폴더를 만들어 헤드노드 및 계산노드에 마운트 해놓은 상태입니다. 그런데 /usr/lib, /usr/sbin, /usr/lib64 등의 폴더는 어떤 식으로 계산노드에 sync 를 해야 하는지 궁금합니다. 그냥 rsync 로 라이브러리 추가할 때마다 동기화를 해야 하나 생각하고 있는데 제대로 하는 것인지 궁금하네요. 질문 및 상황이 정확하지 않을까해서 상황을 다시 씁니다.

헤드노드 및 계산 노드 각각에 CentOS 7을 로컬 디스크에 설치하여 각 노드에 CentOS 7 이 독립적으로 설치되어 있습니다. 어떤 식으로 하나의 특정한 노드에 있는 /usr/bin 이랑 /usr/lib64 를 다른 노드들에 동기화 할 수 있을까요?

버팔로윙

짧은글 일수록 신중하게.



모스월드 2019-04 1. NIS나 LDAP 쓰면됩니다. 2. 헤드노드에 /tools (예를 들어) 디렉 만들어 3rd 파티 툴 때려 넣은후에 computing 노드에서 NFS마운트 해서 쓰면 됩니다 그러면 계산노드 환경이 동일해집니다 1. NIS나 LDAP 쓰면됩니다. 2. 헤드노드에 /tools (예를 들어) 디렉 만들어 3rd 파티 툴 때려 넣은후에 computing 노드에서 NFS마운트 해서 쓰면 됩니다 그러면 계산노드 환경이 동일해집니다



버팔로윙 2019-04 모스월드님 답변 감사드립니다. 3rd 파티 툴은 /share/apps 를 만들어서 마운트 해서 사용하고 있습니다. 뒷걸음 치다가 쥐 잡은 듯한 느낌이지만 마음이 놓이네요. 모스월드님 답변 감사드립니다. 3rd 파티 툴은 /share/apps 를 만들어서 마운트 해서 사용하고 있습니다. 뒷걸음 치다가 쥐 잡은 듯한 느낌이지만 마음이 놓이네요.



epowergate 2019-04 1. 실험실 규모라면 중요하지 않습니다. 그냥 슬럼을 root 계정으로 수행하면 됩니다. 디폴트가 루트입니다. LDAP 등으로 하면 좋기는 한데 시스템관리에 자신 없으시면 권장하지 않습니다. LDAP 서버 장애나면 재앙입니다. 2. 모통 sync하지 않습니다. Application을 설치하면 모든 계산노드에 pdsh등을 사용해서 한번에 뿌릴텐데 그러면 sync 필요없죠. 또한 계산노드에 application등을 자주 설치하는것도 아니기 때문에 중요치 않습니다. 다시 적지만 시스템관리에 자신있지 않으시면 /usr/lib, lib64, bin등 동기화 하지 마세요. 잘못해서 kernel 엉키면 해당 시스템 먹통됩니다. 1. 실험실 규모라면 중요하지 않습니다. 그냥 슬럼을 root 계정으로 수행하면 됩니다. 디폴트가 루트입니다. LDAP 등으로 하면 좋기는 한데 시스템관리에 자신 없으시면 권장하지 않습니다. LDAP 서버 장애나면 재앙입니다. 2. 모통 sync하지 않습니다. Application을 설치하면 모든 계산노드에 pdsh등을 사용해서 한번에 뿌릴텐데 그러면 sync 필요없죠. 또한 계산노드에 application등을 자주 설치하는것도 아니기 때문에 중요치 않습니다. 다시 적지만 시스템관리에 자신있지 않으시면 /usr/lib, lib64, bin등 동기화 하지 마세요. 잘못해서 kernel 엉키면 해당 시스템 먹통됩니다.



버팔로윙 2019-04 답변 감사드립니다. 말씀하신 이 부분이 "다시 적지만 시스템관리에 자신있지 않으시면 /usr/lib, lib64, bin등 동기화 하지 마세요. 잘못해서 kernel 엉키면 해당 시스템 먹통됩니다." 가장 걱정입니다. 말씀하신대로 해야겠네요. 답변 감사드립니다. 말씀하신 이 부분이 "다시 적지만 시스템관리에 자신있지 않으시면 /usr/lib, lib64, bin등 동기화 하지 마세요. 잘못해서 kernel 엉키면 해당 시스템 먹통됩니다." 가장 걱정입니다. 말씀하신대로 해야겠네요.



모스월드 2019-04 아무리 그래도 루트로 일반 유저 작업을 하라는건 좀 아닌듯 합니다. 차라리 NIS를 안 쓸거라면 시스템마다 UID, GID동일한 유저를 하나 생성해서 쓰기를 권장합니다. 아무리 그래도 루트로 일반 유저 작업을 하라는건 좀 아닌듯 합니다. 차라리 NIS를 안 쓸거라면 시스템마다 UID, GID동일한 유저를 하나 생성해서 쓰기를 권장합니다.



epowergate 2019-04 일반장비라면 ROOT로 하지 않겠지만 HPC Cluster의 계산노드라면 별문제 없습니다. 일반장비라면 ROOT로 하지 않겠지만 HPC Cluster의 계산노드라면 별문제 없습니다.



모스월드 2019-04 클러스터 엔드유저들이 루트로 컴파일하고 루트로 시뮬 돌리고, 다중엔드유저가 루트로 파일 카피와 rm -rf * 를 막 날린다는 이야기는 금시초문입니다만. 클러스터 엔드유저들이 루트로 컴파일하고 루트로 시뮬 돌리고, 다중엔드유저가 루트로 파일 카피와 rm -rf * 를 막 날린다는 이야기는 금시초문입니다만.



epowergate 2019-04 그런데 head노드/login노드가 있는데 왜 계산노드를 nas로 하시나요? 어떤 app을 돌리는지 모르지만 해당 계산노드기 병목이 되서 전체 시스템에 영향을 줄수 있습니다. 그런데 head노드/login노드가 있는데 왜 계산노드를 nas로 하시나요? 어떤 app을 돌리는지 모르지만 해당 계산노드기 병목이 되서 전체 시스템에 영향을 줄수 있습니다.



버팔로윙 2019-04 epowergate 님 답변 감사드립니다. 좀 바보같긴 한데 HBA 가 헤드노드에 2개가 안들어가더라구요-_-;; 잠시 계산노드에 껴놓고 쓴다는게 여기까지 왔네요. 슬럼에서 일단 해당 노드는 사용못하게 묶어두었습니다. 질문이 조금 옆으로 새는지라 글타래를 새로 파야 하나 싶긴 한데... 인피티밴드 rdma over NFS 로 마운트해서 쓴다고 하면 병목현상에서 자유로울 수 있을까요? epowergate 님 답변 감사드립니다. 좀 바보같긴 한데 HBA 가 헤드노드에 2개가 안들어가더라구요-_-;; 잠시 계산노드에 껴놓고 쓴다는게 여기까지 왔네요. 슬럼에서 일단 해당 노드는 사용못하게 묶어두었습니다. 질문이 조금 옆으로 새는지라 글타래를 새로 파야 하나 싶긴 한데... 인피티밴드 rdma over NFS 로 마운트해서 쓴다고 하면 병목현상에서 자유로울 수 있을까요?



모스월드 2019-04 인피니밴드까지 있나요? 그럼 상당한 규모일듯 한데요. 그러면 헤드노드, 로긴노드, 컴퓨팅노드, 스토리지노드 모두 각각 분리하고 NIS 마스터 슬레이브를 모두 갖추어야합니다. 랩이라 하여 10대 미만으로 생각했습니다만. 인피니밴드까지 있나요? 그럼 상당한 규모일듯 한데요. 그러면 헤드노드, 로긴노드, 컴퓨팅노드, 스토리지노드 모두 각각 분리하고 NIS 마스터 슬레이브를 모두 갖추어야합니다. 랩이라 하여 10대 미만으로 생각했습니다만.



버팔로윙 2019-04 모스월드님 답변 감사드립니다. 서버는 10대 미만은 아니고 11대 (코어 640개) 입니다. 그게 그거지만요^^;; 3명이 사용하는 소규모(?) 서버입니다. 추후에 싼 서버 몇 대 들여서 분리 작업 들어가야겠네요. 모스월드님 답변 감사드립니다. 서버는 10대 미만은 아니고 11대 (코어 640개) 입니다. 그게 그거지만요^^;; 3명이 사용하는 소규모(?) 서버입니다. 추후에 싼 서버 몇 대 들여서 분리 작업 들어가야겠네요.



epowergate 2019-04 없습니다. NFS over RDMA가 NFS Protocol 자체의 overhead를 줄이기는 하지만 어째든 해당 서버가 모든 IO를 처리해야 합니다. 결과적으로 병목은 네트워크가 아니라 NFS host의 HDD에서 발생합니다. 물론 NFS over RDMA가 나쁜건 절대 아니니 사용하시는것 추천 드립니다 . 누군가는 Lustre를 추천할 수도 있겠지만 개인적으로는 절대 비추합니다. 피보는사람 너무 많이 봤습니다. 없습니다. NFS over RDMA가 NFS Protocol 자체의 overhead를 줄이기는 하지만 어째든 해당 서버가 모든 IO를 처리해야 합니다. 결과적으로 병목은 네트워크가 아니라 NFS host의 HDD에서 발생합니다. 물론 NFS over RDMA가 나쁜건 절대 아니니 사용하시는것 추천 드립니다 . 누군가는 Lustre를 추천할 수도 있겠지만 개인적으로는 절대 비추합니다. 피보는사람 너무 많이 봤습니다.



박경원 2019-04 저희 학교에선 러스터 쓰던데 러스터는 어떤 단점이 있나요? 저희 학교에선 러스터 쓰던데 러스터는 어떤 단점이 있나요?



박경원 2019-04 1. LDAP 사용하시면 됩니다 2. NFS 마운트도 있겠지만 되도록이면 PXE + Kickstart + Ansible 같은걸 써서, 컴퓨트 노드가 깡통 상태로부터 Desired state로 갈 수 있는 스크립트를 작성해놓으시기 바랍니다. 그래야 고장났을때 교체 및 재설치도 빠르고 Idempotency 덕분에 노드간 차이로 고생도 안합니다. 거대한 계산 데이터셋 정도나 스토리지에 넣지 실행 바이너리는 각 계산 노드에 들고 있는걸 권장드립니다. 라이브러리까지 스태틱하게 다 들고있는, 폴더 하나가 계산 패키지 하나로 완결성이 있는 그런건 공유를 해도 되지만 되도록이면 공유 라이브러리 같은것들은 패키지 관리자의 도움을 받는것이 좋습니다. 수동으로 엉키면 골치아파지기 때문에... 1. LDAP 사용하시면 됩니다 2. NFS 마운트도 있겠지만 되도록이면 PXE + Kickstart + Ansible 같은걸 써서, 컴퓨트 노드가 깡통 상태로부터 Desired state로 갈 수 있는 스크립트를 작성해놓으시기 바랍니다. 그래야 고장났을때 교체 및 재설치도 빠르고 Idempotency 덕분에 노드간 차이로 고생도 안합니다. 거대한 계산 데이터셋 정도나 스토리지에 넣지 실행 바이너리는 각 계산 노드에 들고 있는걸 권장드립니다. 라이브러리까지 스태틱하게 다 들고있는, 폴더 하나가 계산 패키지 하나로 완결성이 있는 그런건 공유를 해도 되지만 되도록이면 공유 라이브러리 같은것들은 패키지 관리자의 도움을 받는것이 좋습니다. 수동으로 엉키면 골치아파지기 때문에...



버팔로윙 2019-04 박경원 님 답변 감사드립니다. 처음부터 자동화를 염두에 두고 작업을 했어야 하는데 역량이 부족하다보니 여기 막고 저기 막고 바쁘네요. 수동으로 얽히는 문제가 가장 걱정이였습니다. 조만간 또 뒤집어 엎을지도 모르겠다고 생각하니 앞이 깜깜합니다 ㅠ.ㅠ 박경원 님 답변 감사드립니다. 처음부터 자동화를 염두에 두고 작업을 했어야 하는데 역량이 부족하다보니 여기 막고 저기 막고 바쁘네요. 수동으로 얽히는 문제가 가장 걱정이였습니다. 조만간 또 뒤집어 엎을지도 모르겠다고 생각하니 앞이 깜깜합니다 ㅠ.ㅠ



박경원 2019-04 저도 연구실 서버들 처음 리눅스 접했을때는 그런부분에서 많이 귀찮았는데요 하다보니 결국 PXE + Kickstart로 설치 자동화 / Ansible로 나머지 설정을 하게 되었습니다 특히 Ansible 정말 좋은데 Ansible은 모든 노드들에 대해 어떠한 '상태'에 도달하라고 정의를 하기 때문에 설치 중간에 몇몇 노드는 연결이 끊어지거나 전원이 내려가거나 작업이 완수가 안된 노드들이 있어도 그냥 Ansible 커맨드 한 번 더 치면 패키지 설치가 완료된 노드들은 가만히 있고 안된 노드들은 목표 상태까지 도달하기 위한 작업을 수행합니다 그러니 모든 노드들에 대한 동기화가 쉽게 보장이 됩니다 저도 연구실 서버들 처음 리눅스 접했을때는 그런부분에서 많이 귀찮았는데요 하다보니 결국 PXE + Kickstart로 설치 자동화 / Ansible로 나머지 설정을 하게 되었습니다 특히 Ansible 정말 좋은데 Ansible은 모든 노드들에 대해 어떠한 '상태'에 도달하라고 정의를 하기 때문에 설치 중간에 몇몇 노드는 연결이 끊어지거나 전원이 내려가거나 작업이 완수가 안된 노드들이 있어도 그냥 Ansible 커맨드 한 번 더 치면 패키지 설치가 완료된 노드들은 가만히 있고 안된 노드들은 목표 상태까지 도달하기 위한 작업을 수행합니다 그러니 모든 노드들에 대한 동기화가 쉽게 보장이 됩니다

로그인 하시면 댓글을 남길 수 있습니다

쓰기

그룹	게시판	제목	글쓴이	날짜	조회
2CPU	판매	완료 (1) 김은경1 04-09	김은경1	04-09	355	완료 (1) 2CPU : 판매 04-09 355 김은경1
2CPU	판매	HDD 팝니다. (2) 담담담 04-09	담담담	04-09	547	HDD 팝니다. (2) 2CPU : 판매 04-09 547 담담담
2CPU	판매	인텔 제온 771/1366/2011 및 AMD CPU 판매… (1) 핵심기술 04-09	핵심기술	04-09	545	인텔 제온 771/1366/2011 및 AMD CPU 판매… (1) 2CPU : 판매 04-09 545 핵심기술
2CPU	자유게시판	알리에서 주문한 Type C USB-C to DC 20V … (9) 파피푸페 04-09	파피푸페	04-09	342	알리에서 주문한 Type C USB-C to DC 20V … (9) 2CPU : 자유게시판 04-09 342 파피푸페
2CPU	자유게시판	[감사의 인사]수퍼싸이언님 감사합니다. (7) 안형곤 04-09	안형곤	04-09	137	[감사의 인사]수퍼싸이언님 감사합니다. (7) 2CPU : 자유게시판 04-09 137 안형곤
2CPU	판매	CPU보드셋트 팝니다. (1) 담담담 04-09	담담담	04-09	559	CPU보드셋트 팝니다. (1) 2CPU : 판매 04-09 559 담담담
2CPU	판매	판매재등록 (1) 초코우유팩 04-09	초코우유팩	04-09	273	판매재등록 (1) 2CPU : 판매 04-09 273 초코우유팩
2CPU	자유게시판	오늘의 배송. 양념치킨맛 닭강정 - 티몬. … 박명근TN 04-09	박명근TN	04-09	122	오늘의 배송. 양념치킨맛 닭강정 - 티몬. … 2CPU : 자유게시판 04-09 122 박명근TN
2CPU	판매	[완료] (5) 닥터슈테판 04-09	닥터슈테판	04-09	502	[완료] (5) 2CPU : 판매 04-09 502 닥터슈테판
2CPU	판매	[판매완료] BOSS 스피커 Canston NX201 (1) 미르코김 04-09	미르코김	04-09	385	[판매완료] BOSS 스피커 Canston NX201 (1) 2CPU : 판매 04-09 385 미르코김
2CPU	QnA	3D렌더링용 컴퓨터 (3) 유종철 04-09	유종철	04-09	2760	3D렌더링용 컴퓨터 (3) 2CPU : QnA 04-09 2760 유종철
2CPU	자유게시판	[무상분양-02] 미사용 신품 탁상용 가습기… (21) 전현규 04-09	전현규	04-09	237	[무상분양-02] 미사용 신품 탁상용 가습기… (21) 2CPU : 자유게시판 04-09 237 전현규
2CPU	판매	... (2) 메이저리그 04-09	메이저리그	04-09	332	... (2) 2CPU : 판매 04-09 332 메이저리그
2CPU	판매	... (1) 메이저리그 04-09	메이저리그	04-09	159	... (1) 2CPU : 판매 04-09 159 메이저리그
2CPU	판매	... (2) 메이저리그 04-09	메이저리그	04-09	285	... (2) 2CPU : 판매 04-09 285 메이저리그