http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

중고장터 more

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12633 추천 0

http://webmeup-crawler.com/ (918)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

5420/5686

번호	제목Page 5420/5686	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1518770	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1518770 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4982701	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4982701 1 정은준1
5335	애슬론 클래식으론 듀얼구성 불가인가요? (3)	임현규	2002-08	12631	7
애슬론 클래식으론 듀얼구성 불가인가요? (3) 2002-08 12631 1 임현규
5334	[re] ACPI.SYS 문제로 OS인스톨이 안됍니다...	이창묵	2003-05	12633	63
[re] ACPI.SYS 문제로 OS인스톨이 안ǌ… 2003-05 12633 1 이창묵
5333	AMD XP CPU 개조 관련 질문입니다. (8)	이주희	2003-10	12633	14
AMD XP CPU 개조 관련 질문입니다. (8) 2003-10 12633 1 이주희
5332	http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇? (1)	김황중	2013-09	12634	0
http://webmeup-crawler.com/ 검색엔진… (1) 2013-09 12634 1 김황중
5331	50cc 스쿠터로 산악도로 주행이 가능할까요? (9)	VSPress	2014-06	12634	0
50cc 스쿠터로 산악도로 주행이 가능할까… (9) 2014-06 12634 1 VSPress
5330	타이안 보드의 램 추천과 램 꼽는 방법에 대해서 여쭙겠습니다. (2)	박현민	2002-09	12634	4
타이안 보드의 램 추천과 램 꼽는 방법에 … (2) 2002-09 12634 1 박현민
5329	델 T3600이 HDD를 인식하지 못합니다 (5)	회원K	2015-10	12634	0
델 T3600이 HDD를 인식하지 못합니다 (5) 2015-10 12634 1 회원K
5328	견적좀 뽑아주세여.. (2)	송기협	2003-02	12635	39
견적좀 뽑아주세여.. (2) 2003-02 12635 1 송기협
5327	솔라리스 네트웍 보안에 관한 질문 (4)	홍승호	2003-10	12635	32
솔라리스 네트웍 보안에 관한 질문 (4) 2003-10 12635 1 홍승호
5326	내부 네트워크 연결 pc중 일부에서 속도저하가 보인다면....?? (6)	바부팅이	2017-04	12637	0
내부 네트워크 연결 pc중 일부에서 속도저… (6) 2017-04 12637 1 바부팅이
5325	사블(오디지)가 음질이 좋다고 하는거 말인데요... 어떻게 확인 및 어떤음원과 비교… (8)	김건우	2015-03	12637	0
사블(오디지)가 음질이 좋다고 하는거 말… (8) 2015-03 12637 1 김건우
5324	하드웨어 개발 전문가 분들의 의견을 마지막으로 여쭙고 싶습니다. (8)	MikroTik이진	2014-06	12639	0
하드웨어 개발 전문가 분들의 의견을 마지… (8) 2014-06 12639 1 MikroTik이진
5323	보드가 이상해요 알려주세요!!! (2)	윤치열	2002-08	12639	34
보드가 이상해요 알려주세요!!! (2) 2002-08 12639 1 윤치열
5322	Iwill MPX2보드에서 이쿨러 장착 가능 할까요? (3)	정재상	2002-09	12639	10
Iwill MPX2보드에서 이쿨러 장착 가능 할… (3) 2002-09 12639 1 정재상
5321	sli 활성화 확인방법 (6)	소천백향	2012-03	12639	0
sli 활성화 확인방법 (6) 2012-03 12639 1 소천백향
5320	애슬론 XP 1900 듀얼 + 7KDD 문제입니다... (7)	박원식	2002-08	12639	4
애슬론 XP 1900 듀얼 + 7KDD 문제입니다... (7) 2002-08 12639 1 박원식
5319	ARON ZOOM KB-A106S 블랙 기계식 이게 맞는지요. (6)	김기범	2003-09	12640	47
ARON ZOOM KB-A106S 블랙 기계식 이게 맞… (6) 2003-09 12640 1 김기범
5318	미디어서버 질문입니다... (5)	장무	2002-08	12642	18
미디어서버 질문입니다... (5) 2002-08 12642 1 장무
5317	(수정, 이미지 추가) 워드프레스나 XE 테마 혹은 상용 프로그램 중에 갤러리 기능을 … (9)	나비z	2014-12	12642	0
(수정, 이미지 추가) 워드프레스나 XE 테… (9) 2014-12 12642 1 나비z
5316	p3tde6 혹시 바이오스 업 해보신분 계십니까? (3)	한창수	2003-02	12643	63
p3tde6 혹시 바이오스 업 해보신분 계십니… (3) 2003-02 12643 1 한창수