( http://2cpu.co.kr/bbs/board.php?bo_table=vm&wr_id=1044#c_1045 )
이번에 램증설하고 고속이 필요한 놈이 있어서 ssd를 추가로 달면서 다시 레이드를 시도해봤습니다.
* 구성 :
- esxi 는 usb에 설치
- 아답텍 ASR-6405E 펌웨어 업데이트 : 1 May 2014 Adaptec Ver. 5.2.0 Build 19147
- 아답텍 컨트롤러카드에는 4TB 2개 RAID1
- SSD는 내장 인텔 컨트롤러에 연결
* 설정 :
- ESXi 5.5 는 최신 패치까지 모두 (ESXi550-201404001.zip, ESXi550-201404020.zip, ESXi550-201406001.zip, ESXi550-201407001.zip)
- ScratchConfig Location 은 ssd 로 설정 (구성->소프트웨어->고급설정->ScratchConfig)
- 커널옵션 변경
/bootbank/boot.cfg 파일에서 kernelopt=no-auto-partition 를 kernelopt=autoPartition=TRUE skipPartitioningSsds=TRUE autoPartitionCreateUSBCoreDumpPartition=TRUE 로 변경
구성->소프트웨어->고급설정->VMKernel -> Boot
에서 VMKernel.Boot.autoPartition 체크, VMKernel.Boot.autoPartitionDiskDumpUSBCoreDumpPartition 체크, VMKernel.Boot.skipPartitioningSsds 체크
--> 요 설정 항목들은 좀 느낌이 이상한데 이것 때문인지 esxi host 를 제어할 때 프리징이 간헐적으로 발생합니다. vm 은 별 이상이 안느껴지구요.
일단 기존 서버 세팅 상태가 이상해서 접속이 자주 끊어지고 프리징도 심한 상태였습니다.
* 첫번째 시도 :
디스크(ssd)에 복사한 후 옮겨담기.
ssh로 연결해서 cp 로 하면 용량도 무지막지하고 무지막지 느립니다.
vmkfs 툴로 하면 좀 빠르긴 한데 ssd 용량이 작아 상황이 그리 좋지 않았습니다.
두개 복사하고 포기했습니다.
* 두번째 시도
윈도우pc에서 ovftool 로 server2server
뭐 때문인지 안됩니다 ㅜㅜ
* 세번째 시도
윈도pc에서 ovftool 로 pc에 import받고 다시 대상서버에 export
잘됩니다.
근데 가끔 이상이 발생해서 다시 시도해야하거나 용량이 큰 놈은 실패하는 경우가 있었고 sha1 오류가 발생하는 놈도 있습니다.
* 네번째 시도
usb 외장하드를 갖고와서 꽂았습니다.
ext4 로 쓰던 놈인데 마운트가 안됩니다.
찾아보니 esxi host 가 vfat 2기가 이하만 지원한다는 듯합니다 -_-;;
* 다섯번째 시도
1. 시놀로지nas에 iscsi 볼륨을 생성
2. esxi 에서 구성->스토리지어댑터 추가->iSCSI Software adapter -> 선택하고 속성 -> 네트워크구성/VMKernel 포트바인딩에서 네트워크카드 추가해서 선택하고, 동적검색에 iSCSI 서버 위치에 nas ip 등록하니 됩니다.
3. 스토리지 추가해서 iscsi 파티션 VMFS5로 생성 하고
4. 여기에 vmkfs 툴로 vm들을 클론뜹니다.
5. 원래 서버에서는 이제 연결이 필요없으니 iscsi 스토리지 어댑터 를 제거하면 좋으나 이건 안되고 네트워크구성이랑 동적검색에서 설정한 항목들을 제거합니다. (이래야 다른 서버에서 마운트 가능)
6. 네트워크
대상 esxi 서버에서 이 iscsi 를 연결해서 가져옴
잘됩니다. 속도도 꽤 빠르고요.
나중에 보니 NFS도 있던데 NFS로 해도 될 것같긴 하네요..
이상 삽질로 몇일에 걸쳐 12개 vm 다 옮기기 완료 했습니다..ㅜㅜ
서버이전.. 이건 뭔 짓을 해도 빨리하긴 어려운 일인 것 같습니다.
아무래도 이전 할일이 없게 만들어야겠고 iscsi 사용법을 알았으니 가끔 이쪽으로 백업만 하면 완벽(?)하겠죠?
vmkfs 툴에서 옮길 때 -d thin 옵션.. 씬프로비저닝저장하면 디스크 공간도 일단은 적게 먹는 것 같고..
돈 아끼고 구성하려니 고생이 배가됩니다.
veem 으로 하면 그렇게 편하다는데 esxi 무료버전은 지원중단이라니 ..
이제 esxi 호스트제어할 때 프리징 나는 것 만 좀 잡으면 될 것 같네요..
나머지는 NFS 볼륨에 넣어놓고 있습니다.
다른 NAS로 백업을 한다던가 복제를 할때는 걍 윈도우에서 합니다.
속도는 네트웍이 1GBE라서 그러려니 합니다.
고속이 필요한건 걍 로컬에 ssd 박아넣고 하면 되고
레이드카드 때문에 스트레스 받을 필요도 없고..
다음에 구성변경할 일이 있으면 저도 좀 시도해봐야겠어요..ㅎㅎ
vcenter가 없으신 구조인가요?
esxi만 쓸때는 vsphere client를 통해서 접속해서 서버끈후에 스토리지에있는 파일을 내PC로 내려받기후...
다시 새 서버로 업로드 한적이 있는데 시간도 많이걸리고 서비스 중단도 되고해서 불편했던 기억이 있네요..
vsphere client 로 파일 전송을 하면 너무 느리네요..
저도 700기가 정도의 VM을 이동하려다 결국 그냥 삭제한 가슴아픈 기억이.......
속도가 느린것은 ESXi의 포멧형식인가가 달라서 그렇다고 하는듯 하네요.
근데, VM상에서 외부에서 파일 복사등은 생각보다 만족스러운데...
VMWARE에서 VM이동은 속도 이슈로 사용자가 서비스를 구입하게 만드는 부분이 아닌가 합니다.
그냥 복사했다가는 몇주가 걸리겠다 싶어서 이것저것 시도해봤습니다 ㅎㅎ
비용을 들여서 vcenter 같은걸 사용하면 좀 더 편하겠지만 일단은... 저비용으로 먼저..ㅎㅎㅎ