쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
idc 에 불났을때 최대한 빠른시간내 복구 ( 무중단 목표 ) 를 하고 있습니다. ( 데이터 용량이 많아서 클라우드는 제외 합니다. )
서로 다른 지역 ( 가산동 - 서초동 ) 의 idc를 이용중 이구요.
동시 배포나 디비 리플리케이션은 간단히 설정하고 넘어갔는데 첨부파일 동기화가 문제입니다.
1차로 glusterfs geo-replication 로 구축을 했더니
이게 양방향이 아니라 단방향 입니다. 슬래이브가 read-only 로 마운트가 됩니다..
그래서 마스터 idc 장애시 사람의 수작업이 필요하고 다시 또 마스터 서버 복구시 번거롭게 작업을 또 해야 합니다...
그런데 geo-replication 작동방식을 유심히 살펴보고 테스트도 좀 해봤더니
슬래이브에서 read-only off 상태 (rw모드)로 그냥 운영이 되네요.
하지만 당연하게도 슬래이브 수정사항은 마스터로 반영이 안되기에
혹시나 하고 슬래이브도 그냥 마스터처럼 똑같이 설정하여 결과적으로 양방향 동기화를 해봤습니다.
gfs1 (마스터), gfs2 (슬래이브) 각각 glusterfs volume 은 distvol은 만들어 두고
아래와 같이 설정을 했더니 너무나 잘 됩니다 ??!!
gfs1에서
mount.glusterfs gfs1:/distvol /mnt/gfs1_distvol/
gluster system:: execute gsec_create
gluster volume geo-replication distvol gfs2::distvol create push-pem force
gluster volume geo-replication distvol gfs2::distvol start
gluster volume set distvol read-only off
gfs2에서
mount.glusterfs gfs2:/distvol /mnt/gfs2_distvol/
gluster system:: execute gsec_create
gluster volume geo-replication distvol gfs1::distvol create push-pem force
gluster volume geo-replication distvol gfs1::distvol start
gluster volume set distvol read-only off
같은 파일 생성이나 수정해서 충돌시켜도 나중에 생성한 파일로 잘 덮어쓰네요.
이리저리 테스트 해봐도 아무 문제가 없어 보여서 이렇게 운영해봐도 괜찮은걸까 싶어서
양방향 geo-replication 에 대해서 지인 + 구글링 등등 사례를 찾아봐도 나오질 않아서
혹시 2cpu 에 양방향으로 써보셨거나 사용중이신 분이 있는지 문제는 없는지 질문 올려 봅니다.
사용하시는 데이터베이스 엔진에 따라 달라지지만
잘 되시면 잘 않될것도 없지만
Active-Stanby 개념으로 사용할 수 있는 것이죠.
장애 극복용으로 사용할 수 있는 것이죠.
끊기지 않는 서비스 이걸 이루실려면
로드벨런싱을 앞단해서 해야야 하고.
원거리라면 Name Server의 변경 시간이 걸리어 이런 문제도 있습니다.
Oracle DB와 MS-SQL 은 어떻게 반응 할 지 ... 궁금하네요.
Oracle DB는 이런것을 거의 허용하지 않는데.. 궁금합니다.
게시판이나 댓글이 폭주하는 사이트에 적용하는거고 일반적인 DB에는 해당사항 없습니다.
디비야 뭐 여차하면 aws az 라도 쓰면 되는데
첨부파일은 용량이 너무 커서 ( 20테라가 넘어가요 ) 클라우드로는 비용 감당이 되지 않아
glusterfs geo-replication 양방향 운영을 검토중인 상황입니다.
현업에서 그리 쓰는데 없습니다.
데이터 정합성이 안된상태에서 역복제 일어나면 그냥 망하는거에요.
저도 제일 우려되었던게 역방한 연결시 정합성 체크를 하면서 기존에 쌓여있던 데이터를 삭제해 버리면 어쩌나 였거든요.
그런데 한달 넘도록 테스트만 반복하고 있는데 아직 그런 상황은 발생하지 않고 있습니다.
양방향을 껏다가 켰다가
단방향의 방향을 반대로 했다가
연동을 끄고 데이터를 쌓고 기존 데이터를 지우고 수정하고 다시 연결하고
여러가지 시나리오를 테스트 하고 있습니다만 아직까진 다행이 큰일?나는 상황은 발생하지 않았습니다.
여러가지 다양한 테스트를 해보면서 발생한 유일한 문제(?) 점은
create push-pem 를 한 순간 반대쪽이 read only 가 된다는 겁니다. 그래서 운영중 양방향 설정을 한다면
create push-pem 를 할때 반대쪽에서 read-only off 만 거의동시에 실행해 주거나 잠시 점검공지 올리고 진행하면 문제가 없습니다.
물론 아직은 저도 겁나서 운영서버에 양방향 설정은 하지 않았고요
만약 하더라도 스냅샷은 원래 기본이고 별도로 로컬에 백업대책을 만들어 두고 운영할 생각입니다.
gluster로 가능하면 MultiAZ 구현이 그리 어려울리 없죠
되던데요? 된다니까!! 하는 사람들 간혹 보입니다.
아니요! 못합니다.
그저 복구시 번거로운 작업을 줄이고 싶은 딱 그정도 입니다.