http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

업체홍보 more

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12621 추천 0

http://webmeup-crawler.com/ (918)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

5418/5684

번호	제목Page 5418/5684	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1495537	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1495537 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4959034	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4959034 1 정은준1
5334	http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇? (1)	김황중	2013-09	12622	0
http://webmeup-crawler.com/ 검색엔진… (1) 2013-09 12622 1 김황중
5333	[re] ACPI.SYS 문제로 OS인스톨이 안됍니다...	이창묵	2003-05	12622	63
[re] ACPI.SYS 문제로 OS인스톨이 안ǌ… 2003-05 12622 1 이창묵
5332	델 T3600이 HDD를 인식하지 못합니다 (5)	회원K	2015-10	12622	0
델 T3600이 HDD를 인식하지 못합니다 (5) 2015-10 12622 1 회원K
5331	Iwill MPX2보드에서 이쿨러 장착 가능 할까요? (3)	정재상	2002-09	12623	10
Iwill MPX2보드에서 이쿨러 장착 가능 할… (3) 2002-09 12623 1 정재상
5330	애슬론 클래식으론 듀얼구성 불가인가요? (3)	임현규	2002-08	12623	7
애슬론 클래식으론 듀얼구성 불가인가요? (3) 2002-08 12623 1 임현규
5329	50cc 스쿠터로 산악도로 주행이 가능할까요? (9)	VSPress	2014-06	12623	0
50cc 스쿠터로 산악도로 주행이 가능할까… (9) 2014-06 12623 1 VSPress
5328	AMD XP CPU 개조 관련 질문입니다. (8)	이주희	2003-10	12624	14
AMD XP CPU 개조 관련 질문입니다. (8) 2003-10 12624 1 이주희
5327	"Ad32lw의 작동이 중지되었습니다." (1)	서수봉	2008-01	12625	21
"Ad32lw의 작동이 중지되었습니다.&#… (1) 2008-01 12625 1 서수봉
5326	사블(오디지)가 음질이 좋다고 하는거 말인데요... 어떻게 확인 및 어떤음원과 비교… (8)	김건우	2015-03	12625	0
사블(오디지)가 음질이 좋다고 하는거 말… (8) 2015-03 12625 1 김건우
5325	견적좀 뽑아주세여.. (2)	송기협	2003-02	12627	39
견적좀 뽑아주세여.. (2) 2003-02 12627 1 송기협
5324	(수정, 이미지 추가) 워드프레스나 XE 테마 혹은 상용 프로그램 중에 갤러리 기능을 … (9)	나비z	2014-12	12627	0
(수정, 이미지 추가) 워드프레스나 XE 테… (9) 2014-12 12627 1 나비z
5323	솔라리스 네트웍 보안에 관한 질문 (4)	홍승호	2003-10	12628	32
솔라리스 네트웍 보안에 관한 질문 (4) 2003-10 12628 1 홍승호
5322	자동차보험으로 병원 옮기기가 어렵나요? (5)	황진우	2013-09	12629	0
자동차보험으로 병원 옮기기가 어렵나요? (5) 2013-09 12629 1 황진우
5321	ARON ZOOM KB-A106S 블랙 기계식 이게 맞는지요. (6)	김기범	2003-09	12630	47
ARON ZOOM KB-A106S 블랙 기계식 이게 맞… (6) 2003-09 12630 1 김기범
5320	하드웨어 개발 전문가 분들의 의견을 마지막으로 여쭙고 싶습니다. (8)	MikroTik이진	2014-06	12631	0
하드웨어 개발 전문가 분들의 의견을 마지… (8) 2014-06 12631 1 MikroTik이진
5319	보드가 이상해요 알려주세요!!! (2)	윤치열	2002-08	12632	34
보드가 이상해요 알려주세요!!! (2) 2002-08 12632 1 윤치열
5318	ESXi에서 왜 1T HDD를 마운트하지 못할까요? (4)	박성만	2013-10	12633	0
ESXi에서 왜 1T HDD를 마운트하지 못할까… (4) 2013-10 12633 1 박성만
5317	HP 서버의 하드디스크를 좀 저렴하게 구할 방법이 있는지 알고 싶습니다. (12)	viper9	2012-01	12633	0
HP 서버의 하드디스크를 좀 저렴하게 구할… (12) 2012-01 12633 1 viper9
5316	하나더 쿨링팬?? (2)	김형석	2003-10	12634	91
하나더 쿨링팬?? (2) 2003-10 12634 1 김형석
5315	usb 그래픽 카드 반응 속도 (5)	가빠로구나	2009-09	12634	0
usb 그래픽 카드 반응 속도 (5) 2009-09 12634 1 가빠로구나