안녕하세요. 아이고..
흥분을 가라앉히고 차근차근 상황을 설명해 보겠습니다. 잠시만요 눈물 좀 닦고요.(초보의 눈물..)
최근에 동일한 모델의 인텔 서버 컴퓨터를 4대를 얻어 세팅해보는 과정에서 오직 한 대가 이상하게 작동을 합니다. 오직 하나..
인텔 S2600GL보드에 2670v1 듀얼, 32GB(8GB*4) 환경이고요. 나머지 동일한 3대의 컴들은 이와 관련해 별 문제가 없습니다. 무난하고요.
헌데, 문제의 컴은 윈10 pro OS까지 설치&인증 후 클린하게 가상화 프로그램 DOCKER를 설치해 메모리를 30GB가량 할당하면
오직 절반 가량인 15.13GiB(16GB)만 할당이 되는데요. 그 이상은 할당이 안되고 있습니다... 어째서..
(작업관리자 메모리 사용률 55%가량으로 나오고요. 절반이 문제면 그 이하여야 할텐데..)
다른 컴들은 동일한 환경 세팅에 문제없이 28.65GiB로 잘 할당이 되고요.
이유로 초기에 소프트웨어 문제로 보았고 바이오스 초기화&윈도우 재설치를 해보았었습니다. 구버전 docker도 구해 깔아보고요.
개선되질 않더군요.
추가로 해본 건 인텔 cpu진단툴 모두 통과 & MemTest5로 테스트해보니 램 모두 끌어다가 테스트 완료후 정상.
도커에서 가져다가 쓰지만 못할 뿐 모든 게 정상으로 보입니다.
딱 보면 CPU 한 개의 멤컨이 비정상이라 절반이 사용되지 못하고 있다고 보여지지 않으신가요? 결국 이건 하드웨어 문제다라 판단하고..
(아.. 사실 판단은 감사하게도 가상화 게시판 문의 글에서 고수님들이 해주셨고요. )
저도 덕분에 하드웨어 문제로 가닥을 잡았으나 일단은 소켓 열어서 보는 건 최후로 미루었고요.(무서워요..)
전에 하드웨어 이상 징후를 찾아내기 위해..
현재 정상으로 판정된 메모리 2세트를 가지고 메모리 슬롯을 옮겨 가며 테스트를 해보았습니다.
모든 슬롯이 인식에 문제는 없습니다.
모든 슬롯 모든 게 정상으로 보여집니다. 무슨 다른 이상한 점이라도 드러나면 좋을텐데 다 괜찮아 보여요.
오직 윈도우 부팅해서 도커에 램 할당만 시켜보면 절반만 할당이 됩니다.
그래서 제가 결정적으로 해본 건... (나이스 트라이..)
CPU 둘 중 하나에 문제가 있을테니 '문제가 있는 CPU를 선별하기 위해 4개의 램 모두를 한쪽에 몰아' 주었습니다.
그러면 퀵패스인터컨넥트(QPI)를 통해 메모리 공유 방식으로 작동하거나 인식이 안되는 등 문제가 드러나거나 부팅이 안되 거나 활용을 못하는 등의 한쪽에선 문제가 드러날 것으로 생각했습니다. 이제 문제가 나오면 그 CPU소켓 열어 보려고 했습니다.
이제 범인은 바로 너.. 를 외치려는데.. 이게 웬걸?
오히려 이렇게 하니 DOCKER에서의 램 할당 문제도 사라지네요... 할당이 잘 되요..
그래서 CPU1에만 램 4개 몰아 꼽아 넣고 부팅해서 해보니 docker도 정상,
CPU2에도 몰아서 해봐도 마찬가지로 해보니 되려 정상... 오히려 문제가 드러나기는 커녕 문제가 해결이 되었네요.
각각 TestMem5 돌려보니 CPU모든 스레드, 램100% 가까이 끌어다가 테스트 완료후 정상.
어느 한쪽의 멤컨이 문제라면 한쪽은 뭔가가 안되어야 하지 않나요?
둘이 16GB씩 나누어 가지면 문제인데 혼자 32GB가져가니 문제가 사라집니다. 이 두 CPU가 서로 사이가 안좋은 건가요.
하.. 사실 초보라 왜 이런 건지 이해가 안되네요. 저의 결론은 일단 이겁니다.
하드웨어 정상인데... 가상화 관련해서만 문제다. 하드웨어와 docker 소프트웨어간 뭔가가 문제다.
일단, 한번 더 윈도우즈 깔아서 해봐야 겠습니다. 바이오스 세팅은 다른 컴들과 동일하게 했다가 초기화한 상태에 가상화 관련만 따로 켜주었고요.
3일안에 결과가 나와야 하는데 말입니다. 추석이라 빨리 청소랑 빨래 해야 하는데.. 멘붕이네요. 가족들에게 혼날 듯;;
하나도 안했네요. 느긋하게 하면 재미난 경험이겠는데 조바심이 납니다. 아 이거 어떡하죠.. 최소 32GB 메모리가 필요한데 말입니다.
한쪽에 램 몰아주고 시피유 한쪽이 공유 방식으로 가져다 사용하면 성능 하락이 있을 거라고 메뉴얼에서 보았는데 하락이 심하려나요..
다른 어떤 테스트나 툴로 해보라고 추천해 주시면 해보고 결과 알려드리겠습니다. 꼭 문제는 이건 거 같다 싶으시면 던져주십시오.
다 해보겠습니다.(__)
저는 일단, 제가 할 수 있는 최선인 윈도우즈 다시 깨끗하게 설치해 보고 오겠습니다. 이제 뭘 해야 할지 모르겠네요.
(잘못하면 벽돌 되니 조심)
하드웨어상의 메모리 이상 문제는
https://www.memtest86.com/
이 프로그램으로 확인하세요..
칩셋 드라이버 업데이트 전후 테스트는 했었씁니다.
일단 메모리 체크부터 해주고 결과 적어 놓겠습니다. 곧 할 것 같습니다.
그리고 바이오스 버전부터 점검해 나가겠습니다.
알려주셔서 감사합니다.
현재 Memtest86 v4.3.7 테스트에 돌입했습니다!! 2% 진행중.. 오래 걸리네요.
두 번(한쪽에 몰아둔 현재)와 16G씩 나누어 해보겠습니다.
약 30분 경과 12% 완료! 음.. CPUs active 가 1로 나오는데.. 스레드 별로 다 하려나요. 뭔가 엄청 세세하게 검사하는가 보네요.
현재 패스 0, 에러 0
약 한 시간 경과 27%.. 엄청 조급했었는데 이거 기다리면서 갑자기.. 시간이 널럴하네욬. 밤 세우면 되죠 뭐 ㅎ
1:46분 경과 47% 완료.. 에러가 0인 건 마음에 드는데.. pass도 0인 건 불안하네욬. 이거 엄청 오래 걸리네요.
보통 반나절 이상 테스트 합니다..
BMC는 아마도 보드 메니지먼트 콘트롤러 약자인데 이게 쿨러 온도센서 등을 다 콘트롤합니다..
서버보드니 iKVM (IPMI 2.0) 이 있을텐데 이게 BMC입니다..
IKVM(IP KVM over IP)란 건... 보안이나 활용 관련해서 좀 더 자세히 알아봐야 겠습니다.
와우 새로운 거 알았습니다. 정말 감사합니다(__) 이거 흥미가 발동해 지금 좀 더 알아두어야 겠습니다.
Memtest86는 2시간 40분 경과중이며 57% 진행이 되었네요. 이거 해보고 나면 문제에서 램은 완전히 배제시켜도 될 것 같습니다.
16개 코어가 돌아가면서 세세하게 테스팅이 되는 것 같네요.
3:34분 72% 경과중 에러 0입니다.
도커 이전에 OS 레벨에서 30 GiB를 인식할 수 없었을겁니다.
도커에서만 모든 램을 끌어다 쓸 수 없는거라면 하드웨어가 아니라
소프트웨어 스택에서 문제가 있었다고 보는게 맞지 않을까요...
그리고 도커 쓰시면 리눅스를 쓰시는건 어떨까요?
아주 가벼운 도커 전용 CoreOS를 추천드립니다...!
희한하네요. 그냥 도커와 호환성 문제인 것 같기도 한데.. 윈도우즈 10 두 번 설치해봤고 하이퍼-V도 기능 끄기 켜기로 해봤고요.
지금 깔린 도커가 이전에 다른 시스템들에서도 아무런 문제가 없던 바로 전의 안정화 버전이었는데 구버전 쭉 구해서 깔아도 봐야 겠네요.
바이오스 펌웨어 버전 이 다른 건가.. 몇 개 적어뒀는데 일치하는 거로 봐서 문제시 하지 않았고요.
리눅스는 일단 보류입니다. 효율이 껑충 오를 것 같긴 한데..
윈도우용 접속기를 써야 해서요. 사실 리눅스 사용도 서투르지만 접속기 필요가 없어지면 리눅스로 넘어갈 생각입니다. 추천 감사합니다.
3.2.4 Intergrated Momory Controller (IMC) and Memory Subsystem - pdf에서는 32페이지구 인쇄된 문서에는 18페이지입니다
찬찬히 읽어 보시지요
추가로 한가지만 더 cpu 스텝핑이 다르지는 않은가요?
cpu-z 같은 것으로 확인해 보시면
CPU-Z로 보니 cpu 스텝핑등 사양은 동일한 것으로 나왔고요.
메뉴얼 보고 있었었는데(정확히 18페이지 펴놓고 있었네요.) 놓친 게 있나 한번 더 읽어 보겠습니다.
메뉴얼에 가상화 관련으로도 찾아서 봐봐야 겠네요.
마음이 급해 뭉뚱그려 답해 죄송합니다. 일단 해보겠습니다. 큰 문제가 없는 한 경과는 이곳에 꾸준히 남기도록 하겠습니다.
시간이 널럴해 졌네요. 서버들 여러 대 방안에서 돌리니.. 파이프 오르간 소리가 들려요..
A,B,C,D 라고 가정하고.. A가 문제 있다고 본다면..
B의 설정된 하드를 그대로.. A에 넣고 부팅해보시고.. 결과를 보세요..
램 테스트가 완료되면 바이오스 펌웨어 버전 체크 해보고 적용해 보겠습니다.
경과도 적어 두겠습니다.(__)
이젠 다 끝났어... 라고 생각했는데 해볼 게 많이 남았네요. 좋은 팁 감사합니다..
.
화이팅 !!!
이번 문제는 조금 위기이긴 한데 진짜 희한하고 묘한 느낌이라 저 같은 경험을 훗날 누군가가 한다면 보고 단박에 해결할 수 있도록 뭔가를 남기겠습니다
.아자아자!
제온프로님 그리고 모두 편하고 즐거운 추석 되시기 바랍니다.^^
잘 이해는 안되지만.. 밀접한 관련이 있어 보입니다.
멀티 프로세서를 사용하는 시스템에서 메모리에 접근할 때 대기 시간(병목 현상)이 발생하는 걸 보완하고자
프로세서 전용 로컬 메모리가 구성되어 전용으로 사용되는 건가 보군요.
저는 이미 cpu별로 전용으로 사용되는 메모리 소켓이 나누어져 있어서 NUMA가 왜 또 필요한 건지 이해는 안가네요;;
오호.. 프로세서별로 나누어진 건 맞지만 코어당 그리고 쓰레드당 나누어진 건 아니기 때문에 여전히 필요한 것이려나요.
좋은 정보 감사합니다.(__) 또 하나 알아갑니다. 희망이 보이네요!
그리고 제가 생각을 다시 해보니 지금 문제가 되는 컴을 초기에 세팅전에 BIOS를 리셋하고 시작했었거든요. 나머지 컴들은 모두 받은 그대로 했고요.
ESXi가 돌아갔던 컴이다라는 말을 들었고 세팅이 잘되어 있던 걸.. 제가 리셋하고 만지다가 빼먹은 세팅이 혹시 있는 걸지도 모르겠네요.
서버컴을 직접 세팅하는 건 이번이 처음이라 뭔가 빼먹은 건가 싶은데 말씀해주신 NUMA setting 관련일 수도 있겠네요.(바이오스 메뉴 찾아보면 나오나요^^?;)
그리고 보통 설치 문제가 생기면 바이오스 초기화 해서 디폴트로 놓고 사용하는게 맞고요..
디폴트로 했을때 시간을 맞춰주고 해야지 시간 안 맞추면 이상하게 꼬이는 OS들도 있습니다..
저는 살짝 비몽사몽이지만 오늘은 꼭 밤 세워야 겠네요. 멀티태스킹중이네요. 아직 집안 청소와 빨래도 널어야 해서요 ;_;
아하 활용은 되지만 유저들이 딱히 따로 세팅할 부분은 주어지지 않는 그런 느낌인 건가요.
시간 신경을 안섰는데 시간도 잘 맞춰 두겠습니다. 메모리 테스트는 이제 100%로 나오고요. 곧 끝날 것 같습니다.
밤 늦게까지 관심과 조언을 해주셔서 진심으로 감사 드립니다.(__)
편안한 밤 되십시오.
그리고 바이오스 옵션들 하나씩 보고 있는데요.
NUMA optimize라는 옵션이 있네요. 이거 Enable이었는데 Disable로 바꾸고 부팅중입니다.. 사전에 체크를 안했던 거라 두근두근..
하앍 변화가 없네요. 추가로 hyper-v (했던 거지만) 기능 삭제/추가로 초기화 해봤고요. 바이오스 옵션들 뭔지는 몰라도 느낌이 오면 하나씩 변경해보고 있네요.
메모리쪽 옵션 건드려 봐야 겠습니다. 동일한 시스템들 바이오스 세팅 동일하게 했다고 생각했는데 뭔가 빼먹은 게 있을지도 모르겠고요.
그렇다고 딱히 이런 현상이 나타날 만큼 옵션값이 틀어져 버렸을까 싶기도 하고 희한하네요..
다시 여러가지 해보다가 최후에 바이오스 펌웨어(는 현재 4개의 시스템 다 동일한 상태네요. 그렇담 펌웨어 문제도 아닌 것 같고..;_;) 올려보고 봐봐야 겠네요.
vnc 뷰어로 다 띄워서 cpuz 로 비교했는데 한 시스템만(2014년산 서버) 7로 스탭핑이 나오고 나머지 6으로 문제의 시스템 포함 다 똑같네요.
시스템 정보 보여주는 툴들 여러 개 깔아서 여러 가지 더 보고 특이사항이 있나 살펴보고 오겠습니다.
hwinfo로 비교중에 재실행 시키려고 윈도우즈 검색창에 h를 치니 hyper-v 관리자(있는지 몰랐음;)라는 것도 같이 뜨네요.
이거 보니 도커가 사용하는 MoviLinuxVM의 디테일을 살펴볼 수 있네요. 현재 할당된 램 15858MB..
오우 얻어 걸린 건데 이거 보면 힌트가 있을지도 모르겠네요. 아니면 직접 메모리 용량 수정이 가능할지도..
보통은 도커 advanced에서 할당 가능한 램 맥시멈으로 할당이 안되는데( 윈도우즈 및 여타 프로그램들이 가져간 메모리 때문에 메모리 부족으로 살짝 줄여서 할당하라고 뜸) 최대로 해도 이게 그간 안떴거든요? 최대 또는 얼추 15.13GiB 이상 올려서 할당해보면
실제 할당된 램은 15.13GiB로 고정
근데 지금은 메모리가 부족하다고 떠요!! 자 갑니다... 두 눈금 줄여서 보통 실행했었는데.. 갑니다.. 제발!!!!
이모티콘을 지양하는 걸 알지만 조금 더 쓰겠습니다.
ㅠㅠㅠㅠㅠㅜㅜㅜㅜ 흑흑 됩니다... 이런 기가 막힌.. 제가 별거 한 게 없지만 그냥 얻어걸린 과정을 이어 적어보겠습니다.
제대로 된 건지 잠시 봐보고요.
docker info 해보니 메모리 이제야 제대로^^ 할당이 되네요.
Total Memory: 28.65GiB
과정은 정말 허무하게도 별 거 없습니다;
HWINFO 재실행하려고 윈10 작업 표시줄에 검색(돋보기)눌러서... H를 눌렀습니다. 그러니 Hyper-V 관리자란 게 hwinfo와 함께 리스팅되더군요!?
이를 실행해 창을 열어보니 MoviLinuxVM 실행중이었고요.(도커는 실행된 상태였음)
창 우측 작업 영역의 하단에 MoviLinuxVM의 연결/설정/끄기/종료.. 의 것들이 있어서 설정을 눌러보니..
이 가상머신의 명세(하드웨어/관리)가 있어 메모리를 클릭해보니 문제의 15858MB를 에디트 박스 형태로 수정할 수 있게 되어 있더군요.
"이 가상머신에서 사용할 수 있는 메모리의 양을 지정합니다."
대략 24000MB로 높혀 수정한 뒤 적용을 눌러보니 메모리 변경 오류가 뜨고 대략 실행중이라 변경이 안된다고 했던가 (지금은 도커 실행중에도 변경이 되네요..)
해서 도커를 일단 껐어요. 그리고 할당을 재시도 해보니 가상머신이 꺼져있다 떠서(갖고 노니..), 도커 재실행...
이후 해결이 되었어요.;; 따로 추가로 hyper-v 관리자 창에서 메모리 건드린 거 없고요.
위에서 언급한 [도커 실행중 한번 메모리 수정하려고 관리자 창에서 메모리 수정 후 적용 누르고 재실행]한 게 전부입니다...
여기서 그간 꼬인 무언가가 풀어진 것 같습니다..
뭔가요 이거;; 너무 어처구니가 없으면서도 기쁘면서도..
8기가 램 한 세트와 4G램 한 세트씩 그리고 혼용도 하고 번갈아 갖가지 방법으로 해봐도 절반만 할당이 되었었는데 말입니다.
그리고 윈도우즈도 재설치(다른 시스템과 동일한 이미지와 방법으로) 해보고 초기화 해볼 수 있는 것들은 전과 후까지 다 해봤는데 안되던 거였는데 말이죠.
와우.. 어메이징..
결과 소프트웨어 문제였고 현재 18.06.1-ce-win73 (19507) 안정화 버전에서 Hyper-v의 가상머신 램 할당 관련 버그가 존재했다로 결론을 내리면 될 것 같습니다.
정확한 원인은 모르겠네요.. 와.. 거의 설치 순서도 같은데 왜 이 시스템만 이렇게 된 걸까요. 그것도 두 번이나;;
hyper-v 관리자란 게 있다는 것만 알았어도 쉽게 해결했을텐데;;역시 모르면 몸과 마음이 고생한다는 걸 새삼 깨닫게 되었습니다; 하..
기분이 진짜 묘하네요;
추석을 앞둬 고생하는 저를 아버지가 살펴주신 거 아닌가 싶기도 하고요. 말도 안되는 현상이 어떻게 이렇게 우연히 H를 누르니까 해결이 되나요. 흐..
이 문제에 관심을 갖고 조언을 아끼지 않으신 우리 2CPU회원님들게 정말 크게 감사드립니다.(__)
아직 리부팅해서 되는지 보진 않았지만 되겠죠.
바꾸었던 설정들 다시 적절하게 고치고 여러 가지 할 거 해봐야 겠네요. 추가로 알게 되거나 특이 사항이 있으면 이곳에 더 남기도록 하겠습니다.
(__) 아이고 감사합니다.
#리부팅 하니 다시 절반만 할당이 되네요;; 그.. 그래도 요령이 생겼으니 큰 문제는 없어 보입니다. 이제 실제 활용해 봐야겠네요.
(음.. 왜 다시하니까 안되지;; 여러 번 재시도 했는데 안되요. 바이오스 세팅 다시 돌려놨는데 이전에 건드렸던 뭔가가 선행되어야 유효해지는지 모르겠습니다.
이제 거의 다 된거니 일단 자고 아침에 해봐야 겠습니다.ㄷ 졸다 깨다 반복이네요. 아오..)
이대로 잘 순 없다..
안되는데요?ㅋ 내가 꿈을 꾸었나..
다시 바이오스 세팅부터 이전에 건드린 것들 하나씩 건드려 보며 다시 해보는 중이네요.
도커가 Hyper-V로 리눅스 가상 머신을 만들 때 무슨 이유에선가 문제가 있는 것 같네요. 재할당을 관리자에서 기존 15858MB보다 낮게는 할당 가능하지만 높게 하면 가상 머신이 부팅이 다 되지 않은 것 같다면 오류가 뜹니다. 이때 도커 재시작하니 정상이 되던데.. 이젠 또 안되고 있네요.
바이오스 옵션 몇 개 건드린 거 되던 시점으로 완전히 돌려놓고 위 관리자 건드려주니 되네요. 유효한 옵션이 있긴 하네요. 그거 찾아야 겠습니다.
Midabo님이 말씀해주신 NUMA 관련으로 NUMA optimize disable 설정이 아닐까 추측해보며 이거면 disable로 해놓고 테스트 해봐야 겠네요.
진심으로 감사 드립니다.(__)(--)(__) 역시.. 고수님들은 촌철살인.. 짧지만.
그 말씀이 문제의 핵심을 짚고 있었습니다... 대단하십니다! 형님!!(__)
그리고 전에 NUMA Optimize를 disable해도 바로 개선이 안되었던 이유도 이제 알 것 같습니다.
요약해 보겠습니다.(흥분되네요.)
1. Hyper-V로 도커가 가상 머신을 만들 때 바로 이 NUMA Optimize로 인해 가상머신의 셋업 정보에 충돌 및 장애가 발생했다.(아마도 Hyper-V설정의 NUMA스패닝)
2. NUMA Optimize를 disable해도 해결이 바로 안되었던 이유는 1번의 이유로 메모리 절반 가량으로 제한되게 셋업된 가상 머신의 그것이 추후 도커의 재실행시에도 재활용되었기 때문이다.( 자칫 여기서 이 옵션을 간과하는 우를 범할 수 있겠습니다. 저처럼요..)
3. 위 문제를 해결하기 위한 간단한 방법으로 NUMA Optimize를 disable 시킨 뒤 부팅후 Hyper-V에서 생성된 도커의 가상 머신(MoviLinuxVM)의 메모리 크기를 Hyper-v 관리자 창에서 수정해주면 (비록 오류가 나도), 이때 NUMA optimize의 개입이 없이 메모리 부분이 재설정 갱신되어 차후 정상적인 셋업이 이루어지게 된다.
(메모리가 컨트롤 되는 부분이 정상이 되었으므로 도커를 재실행하면 해결 완료!)
이상입니다. 충성/(--)
아.. 정말 감사합니다. 이걸 가상화 프로그램 사용할 땐 유의해야 하는 거였군요.
바이오스 세팅이 다른 시스템과 완전히 같다고 생각했는데 제가 길이가 긴 것만 따로 노트에 적어두고 짧은 건 대충 눈대중으로 한다는 게 그만 놓친 것 같습니다.
(__); 혼내주십시오! (에구 이 NUMA 잘하지 그랬어..)
아 진짜 다 되었네요. 와 정말 정말.. 정말로..
성심껏 도움주신 모든 분들 그리고 맥을 제대로 짚어주신 Midabo님에게 크게 감사의 인사 다시 올리겠습니다. 많은 걸 배웠습니다.
감사합니다!!!(__) 그럼 모두 휴식이 되는 추석이 되시기 바랍니다.
(__) 오셨습니까.ㅜㅜㅜㅜ 님. 아항핳 어떡할 거야..아하하학^^)=b=b 어서어서 오십시오. 어서 오세요...ㅇ님짱
정말로 감사드립니다. 순수하게 진심을 담마(정말로) ;_;) 훌쩍.. =b=b(따따봉) 형님 최곡 미라클~
말씀대로 서버 보드의 NUMA setting과 가상머신의 NUMA최적화 부분에서 특화된 알고리즘이 상호 고려되지 못해 충돌이 발생한 것 같습니다.
결과 절반의 램이 할당,활용되지 못한 것이었는데 당최 모르겠더라고요... 이건? 거의.. 뭐.. 저는 이런 세팅이 있는 줄도 몰랐으니 혼자 해결 분.명. 못했을 겁니다. 2cpu에 여쭙지 않았다면 한동안 혼자 암울해 했을 것 같은데 말이죠.. ;_;) ㄷㄷ(님들 진짜 열라 사랑스러워. 쪽쪽)
2cpu 회원님들은 보면서 느끼는 게 '매니아를 넘어 프로의 경지에 있다'라고 생각합니다. (할짝할짝..핥핥핥)
후르릅 핥핥
정말로 존경스럽고 실례합니다!!
최고최고.. b(와 이 엄지 진짜 진심 어리다....)bbb=b
ㅠㅠ 와.. 이건 뭐.. 너무 기뻐서 말입니다... 컴퓨터 너무 재미있는데 서버&워크스테이션 아오.. 너무 좋네요.
미친 성능인 것 같습니다. tk랑스럽습니다. 와중에 트러블의 해결에 큰 도움을 주시는 2CPU 싸랑합니다..... 아하하하^^
Midabo님.. 평안하십시오!! 정말 감사드립니다. 나중에 돈 좀 벌면 귓 드릴게요. 아하하하핳^^;;(아이고..)
큰 일 하셨습니다.. 천재세요.(님 짱.. 레알. 찐짜로. 지니어스(왕천재). 쵝오쵝오.. 왕책오. 러브러브 아리어브류)
이것이 제 진심입니다. 감사합니다. 그렇게 생각해 주시니 진심 감사하네요...
----
오늘에야 동샌네도 보낸 후 홀가분한 마음에 청주로 혼술을 했더니만 취기에 이렇게 적어 놨네요; (한때 별명이 오바였는데 도진 것 같습니다. 흠.)
일어나서 보니 아앗 이게 뭐지 싶은데요. 그냥 조금 강한 선의라 생각해 주시면 감사하겠습니다.; 님 짱. 개 굿. 아하하하^^;
제목 앞부분에 [해결]이라고 써 주시면 다른 회원님들에게도 도움이 됩니다
하핫 저는 그냥 감사하게도 열심히 줏으려 노력하고 있어서 강좌할 수준은 안되고요^^;
이번 문제도 당연히 세팅해뒀어야 할 걸 제가 모르고 해서 일이 복잡해진 느낌이네요. 어찌보면 부끄럽기도 한데 이 글이 저 같은 분들이 찾아 보면 하셀호프님 포함 고수님들의 도움으로 도움이 될 것 같습니다.(도움이 도움으로 도움이.. 어우 이거 멋지네요..)
훗날 고수에 가까워지면 질문 게시판에서 도움으로 돌려 드려야겠다 생각을 하고 있습니다. 하셀호프님 감사합니다. [해결]로 바꾸어 두겠습니다.^^
오늘 하루도 상쾌한 하루 되시고 추석 연휴 즐거운 시간이 함께 하시기 바랍니다. 시스템 세팅중인데 저는 안되던 게 잘 되서 너무 신나네요^^ 덕분입니다.
하지만 막상 닥치게 되면 앞이 캄캄하고 어떻게 해야 할지 모르지요
여기 고수님들도 다 그런 과정 겪은 분들입니다
저는 고수 아니구요 그냥 메뉴얼 찾아서 읽고 같이 찾아다니는 입장이지요
이런 문제를 닥치는 과정, 헤매는 과정, 해결하는 과정 모두 재미있는 일들입니다
한번 정리하시고 강좌 게시판에 올리시면 여러분에게 도움됩니다
낯선 나라에서 여행하는 여행객같은 것이지요
추석 잘 쇠시고 안전 이동하시고 좋은 명절 되세요
저도 그렇게 생각합니다. 처음부터 잘하는 사람은 드물거나 운이 좋은 거겠죠.
이번에 좋은 경험을 했습니다.^^)=b 아..진짜 너무 으.. 답답했는데 뒤돌아 보니 말씀대로 재미도 있었고요.(해결되니 급 재미 충만이네요..ㄷ)
강좌 게시판이 있는지도 몰랐는데.. 도움만 받는데서 그치지 않고 도움이 되는 사람이 되도록 부족하지만 노력하겠습니다.(__)
이제 시작이라고 생각하며 유쾌하게 생각합니다. 좋은 하루 되십시오.__)