http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12718 추천 0

http://webmeup-crawler.com/ (925)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2661/5706

번호	제목Page 2661/5706	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5133228	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5133228 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1668238	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1668238 1 백메가
60916	The Dude 질문드립니다. (3)	방o효o문	2015-01	17679	0
The Dude 질문드립니다. (3) 2015-01 17679 1 방o효o문
60915	2010 맥프로 메모리에대해 질문드려요 (1)	최인수	2010-11	8086	0
2010 맥프로 메모리에대해 질문드려요 (1) 2010-11 8086 1 최인수
60914	2cpu 쇼핑몰에서 회원 가입이 안 돼요. (2)	아름다운노을	2013-09	4603	0
2cpu 쇼핑몰에서 회원 가입이 안 돼요. (2) 2013-09 4603 1 아름다운노을
60913	하.. 고민되네요.. 컴a/s를 맡겼는데. (15)	Fasda	2016-03	4558	0
하.. 고민되네요.. 컴a/s를 맡겼는데. (15) 2016-03 4558 1 Fasda
60912	Adaptec 5805 사용자입니다. (5)	무적쥔장	2017-03	4275	0
Adaptec 5805 사용자입니다. (5) 2017-03 4275 1 무적쥔장
60911	MegaRAID Storage Manager 잘문드려봅니다. (4)	이사장	2010-11	10143	0
MegaRAID Storage Manager 잘문드려봅니다. (4) 2010-11 10143 1 이사장
60910	[문의]SK브로드넷 기가빗 모뎀 브리지모드가 뭔가요? (6)	퍼싱글	2016-03	20546	0
[문의]SK브로드넷 기가빗 모뎀 브리지모드… (6) 2016-03 20546 1 퍼싱글
60909	램은 많이 꽂을수록 유리한가요? (21)	장동건2014	2020-10	37661	0
램은 많이 꽂을수록 유리한가요? (21) 2020-10 37661 1 장동건2014
60908	HP Z6/Z4 G4 IAstoricon 프로세스 핸들 값 상승 질문 (1)	NNTHH	2022-03	2208	0
HP Z6/Z4 G4 IAstoricon 프로세스 핸들 … (1) 2022-03 2208 1 NNTHH
60907	무슨 건전지 인지요.. (9)	2CPU최주희	2010-11	9233	0
무슨 건전지 인지요.. (9) 2010-11 9233 1 2CPU최주희
60906	하드디스크 인식에 문제가 있습니다. (5)	FAHRENHEIT	2017-03	4115	0
하드디스크 인식에 문제가 있습니다. (5) 2017-03 4115 1 FAHRENHEIT
60905	AMD진영 CPU 가격전망 어떻게 보시나요 (5)	NaHS	2022-04	1937	0
AMD진영 CPU 가격전망 어떻게 보시나요 (5) 2022-04 1937 1 NaHS
60904	http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇? (1)	김황중	2013-09	12719	0
http://webmeup-crawler.com/ 검색엔진… (1) 2013-09 12719 1 김황중
60903	해외 호텔 예약 사이트 얼마전에 예약 가능한가요 ? (4)	삐돌이슬픔이	2019-08	2462	0
해외 호텔 예약 사이트 얼마전에 예약 가… (4) 2019-08 2462 1 삐돌이슬픔이
60902	ups 멀티탭에는 모두 avr 기능이 있나요? (11)	seleucos	2011-01	12493	0
ups 멀티탭에는 모두 avr 기능이 있나요? (11) 2011-01 12493 1 seleucos
60901	G-suite education도 파일50만개까지제한이있나요 (6)	그린	2020-10	3050	0
G-suite education도 파일50만개까지제한… (6) 2020-10 3050 1 그린
60900	삼성은 제온 개조 바이오스 어떻게 만드나요?	우뢰맨	2015-02	8201	0
삼성은 제온 개조 바이오스 어떻게 만드나… 2015-02 8201 1 우뢰맨
60899	뚜따킷 국내 구매처 알고싶습니다.. (2)	이상윤SY	2017-03	5011	0
뚜따킷 국내 구매처 알고싶습니다.. (2) 2017-03 5011 1 이상윤SY
60898	PERC 6i 바이오스 관련 질문	GodokNam	2011-02	7967	0
PERC 6i 바이오스 관련 질문 2011-02 7967 1 GodokNam
60897	엔비디아 글픽카드는 동급인경우(여기서는 GT****일때) 뒤에 나오는 숫자값이 높은게… (7)	김건우	2016-04	5240	0
엔비디아 글픽카드는 동급인경우(여기서는… (7) 2016-04 5240 1 김건우