http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12728 추천 0

http://webmeup-crawler.com/ (925)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

997/5707

번호	제목Page 997/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5135583	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5135583 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1670505	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1670505 1 백메가
94212	2cpu 쇼핑몰에서 회원 가입이 안 돼요. (2)	아름다운노을	2013-09	4606	0
2cpu 쇼핑몰에서 회원 가입이 안 돼요. (2) 2013-09 4606 1 아름다운노을
94211	하.. 고민되네요.. 컴a/s를 맡겼는데. (15)	Fasda	2016-03	4562	0
하.. 고민되네요.. 컴a/s를 맡겼는데. (15) 2016-03 4562 1 Fasda
94210	Adaptec 5805 사용자입니다. (5)	무적쥔장	2017-03	4279	0
Adaptec 5805 사용자입니다. (5) 2017-03 4279 1 무적쥔장
94209	MegaRAID Storage Manager 잘문드려봅니다. (4)	이사장	2010-11	10145	0
MegaRAID Storage Manager 잘문드려봅니다. (4) 2010-11 10145 1 이사장
94208	[문의]SK브로드넷 기가빗 모뎀 브리지모드가 뭔가요? (6)	퍼싱글	2016-03	20549	0
[문의]SK브로드넷 기가빗 모뎀 브리지모드… (6) 2016-03 20549 1 퍼싱글
94207	램은 많이 꽂을수록 유리한가요? (21)	장동건2014	2020-10	37698	0
램은 많이 꽂을수록 유리한가요? (21) 2020-10 37698 1 장동건2014
94206	HP Z6/Z4 G4 IAstoricon 프로세스 핸들 값 상승 질문 (1)	NNTHH	2022-03	2214	0
HP Z6/Z4 G4 IAstoricon 프로세스 핸들 … (1) 2022-03 2214 1 NNTHH
94205	무슨 건전지 인지요.. (9)	2CPU최주희	2010-11	9235	0
무슨 건전지 인지요.. (9) 2010-11 9235 1 2CPU최주희
94204	하드디스크 인식에 문제가 있습니다. (5)	FAHRENHEIT	2017-03	4116	0
하드디스크 인식에 문제가 있습니다. (5) 2017-03 4116 1 FAHRENHEIT
94203	AMD진영 CPU 가격전망 어떻게 보시나요 (5)	NaHS	2022-04	1945	0
AMD진영 CPU 가격전망 어떻게 보시나요 (5) 2022-04 1945 1 NaHS
94202	http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇? (1)	김황중	2013-09	12729	0
http://webmeup-crawler.com/ 검색엔진… (1) 2013-09 12729 1 김황중
94201	해외 호텔 예약 사이트 얼마전에 예약 가능한가요 ? (4)	삐돌이슬픔이	2019-08	2470	0
해외 호텔 예약 사이트 얼마전에 예약 가… (4) 2019-08 2470 1 삐돌이슬픔이
94200	ups 멀티탭에는 모두 avr 기능이 있나요? (11)	seleucos	2011-01	12498	0
ups 멀티탭에는 모두 avr 기능이 있나요? (11) 2011-01 12498 1 seleucos
94199	G-suite education도 파일50만개까지제한이있나요 (6)	그린	2020-10	3053	0
G-suite education도 파일50만개까지제한… (6) 2020-10 3053 1 그린
94198	삼성은 제온 개조 바이오스 어떻게 만드나요?	우뢰맨	2015-02	8203	0
삼성은 제온 개조 바이오스 어떻게 만드나… 2015-02 8203 1 우뢰맨
94197	뚜따킷 국내 구매처 알고싶습니다.. (2)	이상윤SY	2017-03	5014	0
뚜따킷 국내 구매처 알고싶습니다.. (2) 2017-03 5014 1 이상윤SY
94196	PERC 6i 바이오스 관련 질문	GodokNam	2011-02	7972	0
PERC 6i 바이오스 관련 질문 2011-02 7972 1 GodokNam
94195	엔비디아 글픽카드는 동급인경우(여기서는 GT****일때) 뒤에 나오는 숫자값이 높은게… (7)	김건우	2016-04	5245	0
엔비디아 글픽카드는 동급인경우(여기서는… (7) 2016-04 5245 1 김건우
94194	sas 디스크를 갈았습니다 그런데 (1)	comefeel82	2020-11	2523	0
sas 디스크를 갈았습니다 그런데 (1) 2020-11 2523 1 comefeel82
94193	1G 업링크 100M 10포트 미만의 가격 착한 허브 없을까요? (6)	뭐든팔아요	2023-12	1444	0
1G 업링크 100M 10포트 미만의 가격 착한 … (6) 2023-12 1444 1 뭐든팔아요