http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

견적 more

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12637 추천 0

http://webmeup-crawler.com/ (919)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3382/5687

번호	제목Page 3382/5687	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1527051	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1527051 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4991063	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4991063 1 정은준1
46104	[도움!!] APC Smart-UPS 1500 Error Light (4)	PCMaster	2018-06	4513	0
[도움!!] APC Smart-UPS 1500 Error Light (4) 2018-06 4513 1 PCMaster
46103	해외에서 서버가 오는데 부가세를 내라네요. (11)	전근현	2008-11	4513	5
해외에서 서버가 오는데 부가세를 내라네… (11) 2008-11 4513 1 전근현
46102	레이드 하드 추천좀 해주세요..^^ (2)	박재석	2012-09	4513	0
레이드 하드 추천좀 해주세요..^^ (2) 2012-09 4513 1 박재석
46101	스카시 HDD 중고 구입관련 도움 부탁드려요. (5)	남궁일남	2007-06	4513	13
스카시 HDD 중고 구입관련 도움 부탁드려… (5) 2007-06 4513 1 남궁일남
46100	t7810 에서 gtx카드 사용방법은 없는 걸까요? (9)	PLANX	2016-06	4513	0
t7810 에서 gtx카드 사용방법은 없는 걸까… (9) 2016-06 4513 1 PLANX
46099	이지메직호스 같은 물호스 어떤가요? 써보신분.. (4)	무아	2016-05	4513	0
이지메직호스 같은 물호스 어떤가요? 써보… (4) 2016-05 4513 1 무아
46098	ssd 840 pro를 교환해 준다고 하면 850 pro면 동급 인가요? (16)	신은왜	2016-11	4513	0
ssd 840 pro를 교환해 준다고 하면 850 pr… (16) 2016-11 4513 1 신은왜
46097	Redundant ROM detected. System contains a valid backup system ROM 아세요? (4)	허인구마틴	2017-07	4513	1
Redundant ROM detected. System contains… (4) 2017-07 4513 1 허인구마틴
46096	z420보드 가상화를 따로 켜줘야 하나요? (3)	밀우	2016-02	4513	0
z420보드 가상화를 따로 켜줘야 하나요? (3) 2016-02 4513 1 밀우
46095	밑에 만원득템 - 신도리코 mf 3530n의 메모리 장착건때문에 드럼일체?형 토너를 잠깐… (3)	김건우	2016-04	4513	0
밑에 만원득템 - 신도리코 mf 3530n의 메… (3) 2016-04 4513 1 김건우
46094	HP Z640 타이탄XP SLI 가능할까요? (5)	Lobin1	2017-09	4513	0
HP Z640 타이탄XP SLI 가능할까요? (5) 2017-09 4513 1 Lobin1
46093	안녕하세요. 콘로 구입 문의 입니다. (6)	이원복	2006-10	4513	10
안녕하세요. 콘로 구입 문의 입니다. (6) 2006-10 4513 1 이원복
46092	하나의 raid controller 에서 여러개의 array 를 잡는건 비추인가요? (2)	소현준	2007-07	4513	8
하나의 raid controller 에서 여러개의 ar… (2) 2007-07 4513 1 소현준
46091	이런 장비들은 일반 PC에 사용 가능한지요? (2)	블루영상	2016-11	4513	0
이런 장비들은 일반 PC에 사용 가능한지요? (2) 2016-11 4513 1 블루영상
46090	하나의 웹 브라우저에 각각 다른 계정의 gmail 을 띄우는 것이 가능할까요? (6)	무아	2016-05	4512	0
하나의 웹 브라우저에 각각 다른 계정의 g… (6) 2016-05 4512 1 무아
46089	윈도7 64비트 스타터? (9)	뚜뚜김대원	2014-09	4512	0
윈도7 64비트 스타터? (9) 2014-09 4512 1 뚜뚜김대원
46088	나스에 대한 고민.... (17)	노가리강추	2016-03	4512	0
나스에 대한 고민.... (17) 2016-03 4512 1 노가리강추
46087	소규모 데이터 베이스 구축에 관해 질문드립니다. (5)	츄파츕스	2015-08	4512	0
소규모 데이터 베이스 구축에 관해 질문드… (5) 2015-08 4512 1 츄파츕스
46086	dell precision t5600 그래픽카드 교체후 이상증상 (7)	edguy	2015-07	4512	0
dell precision t5600 그래픽카드 교체후 … (7) 2015-07 4512 1 edguy
46085	구입한지 얼마안된 노트북은 서멀 재도포안하는게 좋을가요? (8)	로벨리아	2019-06	4512	0
구입한지 얼마안된 노트북은 서멀 재도포… (8) 2019-06 4512 1 로벨리아