http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12720 추천 0

http://webmeup-crawler.com/ (925)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1407/5706

번호	제목Page 1407/5706	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5133472	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5133472 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1668475	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1668475 1 백메가
85997	[문의]SK브로드넷 기가빗 모뎀 브리지모드가 뭔가요? (6)	퍼싱글	2016-03	20547	0
[문의]SK브로드넷 기가빗 모뎀 브리지모드… (6) 2016-03 20547 1 퍼싱글
85996	램은 많이 꽂을수록 유리한가요? (21)	장동건2014	2020-10	37665	0
램은 많이 꽂을수록 유리한가요? (21) 2020-10 37665 1 장동건2014
85995	HP Z6/Z4 G4 IAstoricon 프로세스 핸들 값 상승 질문 (1)	NNTHH	2022-03	2209	0
HP Z6/Z4 G4 IAstoricon 프로세스 핸들 … (1) 2022-03 2209 1 NNTHH
85994	scsi HDD 연결.... (2)	유용수	2004-07	8637	3
scsi HDD 연결.... (2) 2004-07 8637 1 유용수
85993	무슨 건전지 인지요.. (9)	2CPU최주희	2010-11	9233	0
무슨 건전지 인지요.. (9) 2010-11 9233 1 2CPU최주희
85992	하드디스크 인식에 문제가 있습니다. (5)	FAHRENHEIT	2017-03	4116	0
하드디스크 인식에 문제가 있습니다. (5) 2017-03 4116 1 FAHRENHEIT
85991	AMD진영 CPU 가격전망 어떻게 보시나요 (5)	NaHS	2022-04	1937	0
AMD진영 CPU 가격전망 어떻게 보시나요 (5) 2022-04 1937 1 NaHS
85990	외국도메인 순위 알 수 있는 사이트 없나요..	박광덕	2007-04	4639	6
외국도메인 순위 알 수 있는 사이트 없나… 2007-04 4639 1 박광덕
85989	동일회사의 다른 SCSI 카드를 같이 쓰는경우. (3)	송화식	2004-08	7378	5
동일회사의 다른 SCSI 카드를 같이 쓰는경… (3) 2004-08 7378 1 송화식
85988	AMCC S-ATAⅡ 9650SE-8LPML 제품질문입니다. (2)	송승환	2007-04	4688	3
AMCC S-ATAⅡ 9650SE-8LPML 제품질문입니다. (2) 2007-04 4688 1 송승환
85987	TYAN S2518 PDF메뉴얼 찿습니다. (1)	이선규	2007-04	4803	21
TYAN S2518 PDF메뉴얼 찿습니다. (1) 2007-04 4803 1 이선규
85986	http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇? (1)	김황중	2013-09	12721	0
http://webmeup-crawler.com/ 검색엔진… (1) 2013-09 12721 1 김황중
85985	해외 호텔 예약 사이트 얼마전에 예약 가능한가요 ? (4)	삐돌이슬픔이	2019-08	2463	0
해외 호텔 예약 사이트 얼마전에 예약 가… (4) 2019-08 2463 1 삐돌이슬픔이
85984	프레스캇 CPU기본 온도? (8)	이상돈	2007-05	4674	15
프레스캇 CPU기본 온도? (8) 2007-05 4674 1 이상돈
85983	ups 멀티탭에는 모두 avr 기능이 있나요? (11)	seleucos	2011-01	12494	0
ups 멀티탭에는 모두 avr 기능이 있나요? (11) 2011-01 12494 1 seleucos
85982	Beegle.co.kr 의 악몽... (4)	김기범	2004-09	6805	4
Beegle.co.kr 의 악몽... (4) 2004-09 6805 1 김기범
85981	컴퓨터 화면에 파란줄과 빨간 반점이 나타나기 시작했습니다. (4)	백인학	2007-05	7403	5
컴퓨터 화면에 파란줄과 빨간 반점이 나타… (4) 2007-05 7403 1 백인학
85980	G-suite education도 파일50만개까지제한이있나요 (6)	그린	2020-10	3052	0
G-suite education도 파일50만개까지제한… (6) 2020-10 3052 1 그린
85979	삼성은 제온 개조 바이오스 어떻게 만드나요?	우뢰맨	2015-02	8201	0
삼성은 제온 개조 바이오스 어떻게 만드나… 2015-02 8201 1 우뢰맨
85978	뚜따킷 국내 구매처 알고싶습니다.. (2)	이상윤SY	2017-03	5011	0
뚜따킷 국내 구매처 알고싶습니다.. (2) 2017-03 5011 1 이상윤SY