안녕하세요 평소 서버 네트웍 프로그램에 관심이 많은 사람입니다.
질문이 하나 있습니다. 혹시 아시거나 아시는 분을 아는 분도 답변을 해주셨스면 감사하겠습니다.
지금 현재 제가 랜카드가 하나가 필요 한데 10G망을 쓰는 서버를 사용하고 있는데
그 망에 흐르는 데이터중에 필요로하는 데이터를 필터링을 랜카드 에서 하고싶습니다.
필터링 가능한 랜카드 10G용을 어떻게 알아 봐야 하는지요?
하드웨어를 전혀 몰라서 답답해서 이렇게 물어 물어 이곳을 오게되었네요.
많은 분들 관심 가져서 힌트나 답변을 주시면 정말 감사 하겠습니다.
그럼 즐거운 주말 되시고 내일부터 새로 즐거운 한주 되세요 ^^*
아 잠시만요 제가 이문제를 해결할경우 저한테 작은 서버 두개 있는데 그걸 드리겠습니다.
지금은 안쓰는건데 1년전에 100만원주고 샀습니다. HP인가 그렇습니다.. 아닌가?? 잘 모르겠습니다
1U짜리 입니다. 테스트 서버로 사용 하시거나 아님 실제 호스팅 같은걸로 사용 하셔도 무방할듯 합니다.
참고로 진짜 1년 耭楮ㅋㅋ 아... 많은 관심 바랍니다. 진짜 이거 해결해야 하거든요.
진짜 부탁 드립니다.. 꾸벅
수정 추가본
일단 들어오는 데이타의 10번째 자리부터 12자리를 짤라서 111111111111 이거면 흘러 보내고 아니면 패스
이정도만 하면 됩니다.
돈은 충분히 쓸수 있는데 이런형태로 할수 잇는지 그것이 궁금합니다.
다시한번 관심 가져 주시면 감사 하겠씁니다.
작성해주신 모든 분들 감사합니다.
제가 약속 드렸던 서버가 두대 있습니다.
비싼건 아니고 1년 정도 테스트로 ㎢彭孤입니다.
얼마 되지는 않지만 쓰시고 싶으신 분들 말씀해주세요 제가 택배로 보내 드리겠습니다.
물론 서버에 모든 내용은 지우고 다시 까시면 될꺼 같습니다. 이게 지금 바로 찍은겁니다.
하여튼 쫌더 알아봐 주심 감사하겠습니다 꾸벅.
모든분들 대단히 감사합니다.
어떻게 적어야 할지 몰라서 수정 합니다.
서버 한대는 김종성님 드렸습니다.
직접 찾아오셔서 많은 도움 주셨습니다. 다들 감사 합니다. 꾸벅.
앞으로도 많은 도움 부탁드립니다.
행복하세요.
가격도 상당히 고가고 프로그래밍도 쉽지는 않아 보입니다.
회로설계 + 네트워크 패킷 구조 및 동작 원리. 이 두가지를 다 알고 있어야 가능한 조합으로 보입니다.
제가 프로그램은 짯는데
멀 알아야 짜는데 기계에 대해 잘 몰라서 그러는데 먼말입니까?
밑에분 FPGA 처리랑 그게 먼말인지 약간 설명해주실수 잇나요?
소프트웨어처럼 하드웨어적인 전자회로를 썼다 지웠다 할수 있습니다.
제가 원하는 겁니다..
아..완전 원하는건데 어떻게 하지? 아 일단 찾아 봐야 겠는데 좋은정보 감사 합니다.
이보다 더 복잡한 필터링을 하려면 랜카드의 Rx mode를 promiscuous mode(모든 frame을 다 받음)로 바꾸고 SW적으로 처리해야 합니다.
지금 현재 데이터는 쏱아지는 데이터중 한개만 받으면 된다 머 이런식입니다.
그이유는 소프트웨어에서 많은 데이터를 걸러서 읽어야 하는데 걸르고 그리고 다시 읽고 하니까 데이터 트레픽 때문에 진짜 데이터를 늦게 읽어서 그러거든요 빨리 원하는 뒤에 있는 데이터를 읽고 싶어서 지금 하는거라
필터 양은 정말 한단어 정도면 된다고 생각 합니다. 한단어로 된거 그거 빼고는 다 버리라고
그런식인데 아 전부 영어로 되있네요 하드웨어를 전 모르고 소프트 웨어만 알아서 아.
약간 설명이 쉽게 해주실수 없는지요.?
조금 더 구체적으로 목표를 설명해주시면 많은 분들이 도움을 주실 수 있을 것 같아요.
전기 엄청 먹는 cpu 를 제거하고 프로그래밍으로 처리하면 쉽고 간편하고 처리 속도도 빠르니까요.
헌데 자유로운 필터링은 역시 소프트웨어에서 처리하는 것이 휠씬 싶죠.l3 스위치보다 복잡한 제어에는 라우터가 선호되는 이유가 거기에 있죠.
http://www.silicom-usa.com/
http://upload.wikimedia.org/wikipedia/commons/3/33/ARP_Spoofing.svg
이런식으로 작동합니다.
답글을 하나씩 다 일어 보고 다시 연락 드리겠습니다.
가격은 한 300만원까지는 가능하고요
일단 하나두고 하나더 하는 필터링은 안됩니다. 속도가 중요 하거든요.
일단 글을 자세히 읽어 봐야겠습니다 다들 감사합니다.
체택되는순가...서버.. 기다리세요...
[그 망에 흐르는 데이터중에 필요로하는 데이터를 필터링을 랜카드 에서 하고싶습니다.]네요....
다들 랜카드에만 집중하였습니다. 문제는 [그 망에 흐르는] 입니다.
즉, 랜카드에서 해야될 문제가 아니며, 스위치에서 수행하거나, 스위치에서 미리링해서 promiscuous mode로 받아야 된다는 뜻입니다.
그런데, 필터링이라는 말씀이 그냥 단순히 수집만 하면 되는 것인지, 아니면 원래 받아야 되는 장비에 다시 보내줘야 되는 것인지가 명확하지 않습니다.
각설하고...
질문을 정리하여 다시 올려주셔야 정확한 답을 받으실 수 있을 것 같습니다.
1. 해당 망 내의 모든 데이터를 수집하기를 원하는 것인지? 아니면 특정 장비 1대(프로그램을 설치할 컴퓨터)로 인아웃되는 패킷을 수집하기 원하시는 것인지?
2. 단순히 수집만 하면 되는지? 아니면 수집된 데이터를 변조하여 다시 보내주거나, 막아야 되는 것인지?
망내에 데이터가 있는데 일단 전 랜카드로 서버에서 밖에 못받아요
그래서 제 랜카드는 현재 10G 짜리입니다. 물론 망 관련해서 모든 장비는 10G장비 입니다.
근데 제가 멀티캐스트로 데이타를 받는데 너무 많은 데이타를 받습니다.
그래서 현재 그 데이타 중에 일부만 받고 싶은 겁니다.
일단 지금은 프로그램으로 일부 데이타만 필터링 해서 받는데 그래도 소켓에 오는 데이타가 너무 많아서
받은 데이테를 처리하는게 지연되고 있습니다.
왜냐면 제가 처리하고 싶은 데이타는 바로 뒤에 있는데 일단 지금 들어온 데이타는 필요없다는 부분 처리가 하나 더 있기 때문입니다.
일단 요점정리하면 제 서버에서 데이타를 걸러야 하며 프로그램으로 걸를라고 하니 데이타가 많아서
일단 랜카드에서 걸러져서 내려 오기를 원합니다.
답변 주시면 감사합니다 꾸벅.
미크로틱으로 어떻게 될지도 모릅니다.
지금 열심히 찾아 보고 있는데 힌트 몇가지만 더 주시겠습니까?
인터넷으로 찾아 보고 있습니다. 꾸벅.
라투아비아산 (구 소련) 라우터 입니다.
소프트웨어도 있고 하드웨어도 있습니다.
메뉴얼 읽어보면 되지만 만만하지 않습니다.(600페이지)
국내 판매점이 있고 지금 대표님은 일본 출장 중입니다.
제가 지금 읽고 있는 중인데요 거기 보면 랜카드가 Bypass 하는것이 있더라구요
그 기능이 필터링 기능을 할수 있을꺼 같은데 자세한 사항을 물어 보거나 할려면 그 업체에 메일 보내서 기능을 하는지 알아 봐야 하는건지요?
아 정말 궁금해 죽겟네요 영어만 됏어도 전화 걸어서 물어 보는 건데. 아 정말.
바이패스는 그럼 아니군요. 아...아무것도 몰라서 넵 알겠습니다 감사 합니다.
그리고 라우터는 제가 어떻게 할수 잇는게 아니라서.
전 제 서버만 컨트롤 할수 잇는 상황이거든요
아....하여튼 신경써 주셔서 정말 감사합니다.
하여튼 감사 합니다. 꾸벅
그러니까...
일단 랜카드까지 데이터는 다 오는거군요.
데이터를 특정 장비에 다시 보내줄 필요도 없고...
단순히 받아보기만 하면 되는 거군요..
그럼, 지금 사용하는 서버가 windows라고 가정하고.. 서버(?)에 winpcap 설치하고, 거기서 필터링 하시면 될꺼 같은데요?
winpcap이야 라이브러리가 오픈되어 있으니 네이년이나 구굴에서 쉽게 검색 가능하실 듯..합니다.
랜카드에서는 어렵고, 드라이버 레벨에서 접속해야 할 듯 합니다.
PS. 멀티캐스트라서 그나마 다행입니다. 유니캐스트를 다 받아야 된다면... 데이터량이 후덜덜할텐데 말입니다.
서버는 리눅스 서버 입니다.
혹시 리눅스 서버도 winpcap 같은것이 있는지 한번 찾아 보겠습니다.
정말 감사 합니다 꾸벅.
X가 설치되어있다면 wireshark도 좋구요.
아니면 tcpdump로 잡아서 윈도에 설치한 와이어샥으로 분석도 가능합니다.
하지만 여전히 정보가 부족해요.
데이터를 받아서 12자리를 자른다고 하셨는데, 패킷인지, 컨텐츠인지, 12비트인지, 12바이트인지..
필터링 후 저장을 할것인지, 포워딩할것인지..
그리고 랜카드 종류는 덜중요해보이네요.
libpcap 가 같은 용도고 지금 말씀하신 tcpdump도 일종의 그런거네요.
중요한건 데이터 필러링은 패킷이구요
패킷 받는건 udp에서 받습니다.
그리고 받은다음 프로그램에서 처리를 빨리 하기 위해서 하는 거기 때문에
받은다음 필터링은 어플리케이션 레이어 부분에서 제가 처리를 하기 때문에
이왕이면 하드웨어쯤에서 최소한 없애 보자는 취지에서 지금 모든 질문이 시작되었습니다.
많은 분들 감사 합니다. 꾸벅.
약간 추가 하자면 분석 하는것이 아니고 패킷 받아서 필터 한다음 프로그램이 어떤 따른 일을 해야 합니다.
그래서 엄청난 데이타중에 분석하는 데이타가 아닌 쓰레기는 미리 걸러 내겠다는 걸 어떻게든 해볼려고 하는겁니다. 정말 다들 다시한번 감사드립니다.
인텔 82599 칩을 사용하는 10GbE NIC의 경우 PF_RING을 통한 filtering을 지원하는 것으로
나오는 데 plugin은 지원이 안될 것 같고 maching만 지원되도 성능이 어느정도 나올 듯 합니다.
아래의 문서를 검토해 보시기 바랍니다.
1. Hardware Packet Filtering
http://www.ntop.org/solutions/softwarehardware-packet-filtering/
2. Developing Monitoring Applications based on PF_RING
http://www.ntop.org/pf_ring/developing-monitoring-applications-based-on-pf_ring/
3. PF_RING User Guide
https://svn.ntop.org/svn/ntop/trunk/PF_RING/doc/UsersGuide.pdf
4. PF_RING tutorial
http://luca.ntop.org/IM2009_Tutorial.pdf
5. Code Examples
https://svn.ntop.org/svn/ntop/trunk/PF_RING/userland/examples/
인텔 82599라면 그나마 가격이나 수급이 현실적이군요..
제가 필요로 하는 분야는 아니라서 그냥 겉할기 식으로 잠깐 봤는데, 대략 니즈에 부합하는 문서인것 같습니다.
리눅스 서버라고 하시니, 일단은 libcap 올리시고 개발하셔서 퍼포먼스 측정해 보시고, 그걸로도 부족하면 하드웨어 쪽을 검토해 보시면 좋을 것 같습니다. 100만원이 누구 이름은 아니잖아요???
진짜 감사 합니다.
제가 어제 못봣네요 오늘 보게 됏네요 한번 쭉 읽어 보겠습니다.
감사합니다 꾸벅