http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

쓰기

http://webmeup-crawler.com/ 검색엔진을 사칭한 이상한 로봇?

김황중

2013-09

2013-09-25 00:50:04

조회 12584 추천 0

http://webmeup-crawler.com/ (907)

보기에는 검색엔진 같은 서칭 방식이긴 한데

문제는 사이트를 완전히 다 뒤지고 다니네요....

이 사이트가 뭐하는 사이트인지...

상당히 사이트에 부하를 주고 있는듯하네요.

과연 몰까요 몰까요?

- by inoree.com -

짧은글 일수록 신중하게.



이은호 2013-09 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: / 사이트 설명 읽어보니 콘텐츠 분석용 크로울러네요. 친절하게 해당 크로울러를 거부하는 방법을 설명해두었네요. 웹루트에 robots.txt 파일을 만들어놓고, 아래와 같이 입력해두면 해당 크로울러의 사이트 검색을 거부할 수 있습니다. User-agent: BLEXBot Disallow: /

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3359/5664

번호	제목Page 3359/5664	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1442472	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1442472 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4903920	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4903920 1 정은준1
46113	fbdimm 호환성 문의 드립니다. (1)	MikroTik이진	2012-08	4466	0
fbdimm 호환성 문의 드립니다. (1) 2012-08 4466 1 MikroTik이진
46112	세전 연봉 또는 월급 얼마면 세후는 (8)	그린	2023-03	1619	0
세전 연봉 또는 월급 얼마면 세후는 (8) 2023-03 1619 1 그린
46111	혹시 iptime 공유기 가지신분중에 ap로 사용시 ddns나 wol 사용가능한지 테스트해보… (3)	미수맨	2012-08	5847	0
혹시 iptime 공유기 가지신분중에 ap로 사… (3) 2012-08 5847 1 미수맨
46110	리눅스에서의 Mdadm과ZFS (8)	리눅서	2020-03	2929	0
리눅스에서의 Mdadm과ZFS (8) 2020-03 2929 1 리눅서
46109	홈서버 컴퓨터 이거 좋을까요?? (6)	질문빌런	2021-08	2343	0
홈서버 컴퓨터 이거 좋을까요?? (6) 2021-08 2343 1 질문빌런
46108	공유기를 너무 혹사시키는 걸까요? (3)	LevinF	2023-03	1986	0
공유기를 너무 혹사시키는 걸까요? (3) 2023-03 1986 1 LevinF
46107	[질문]삼썽"NeOS"제품은무엇이다른것입니까?(과거'삼송'슬림PC중에서) (7)	영원한혁신	2012-09	4643	0
[질문]삼썽"NeOS"제품은무엇이… (7) 2012-09 4643 1 영원한혁신
46106	원도우즈 업데이트 파일 수동 다운 , 한번에 받는법 (windows update) (8)	MemDB	2009-06	47005	0
원도우즈 업데이트 파일 수동 다운 , 한번… (8) 2009-06 47005 1 MemDB
46105	windows 2011 sbs는 msdn 판이 없나요? (3)	김건우	2017-11	3863	0
windows 2011 sbs는 msdn 판이 없나요? (3) 2017-11 3863 1 김건우
46104	한 1주일 전에 ..아침부터... 복시현상이 나타났습니다. (8)	서동국	2021-08	2164	0
한 1주일 전에 ..아침부터... 복시현상이 … (8) 2021-08 2164 1 서동국
46103	서버 부품 싸게사는곳이 궁금합니다. (15)	ZeroTrust	2023-03	1436	0
서버 부품 싸게사는곳이 궁금합니다. (15) 2023-03 1436 1 ZeroTrust
46102	기판에 쓰이는 검은색 액체? (2)	MemDB	2009-07	6831	0
기판에 쓰이는 검은색 액체? (2) 2009-07 6831 1 MemDB
46101	sli 를 구성할때 .. 메인보드 어떤걸 써야 하나요 ? (5)	psj1050	2009-07	6026	0
sli 를 구성할때 .. 메인보드 어떤걸 써야… (5) 2009-07 6026 1 psj1050
46100	소음+파워교체 질문좀 드립니다~ (2)	하수우	2015-11	3464	0
소음+파워교체 질문좀 드립니다~ (2) 2015-11 3464 1 하수우
46099	같은 하드디스크 다른 펌웨어 레이드 리빌드 (5)	뭐든팔아요	2023-03	1224	0
같은 하드디스크 다른 펌웨어 레이드 리빌드 (5) 2023-03 1224 1 뭐든팔아요
46098	그래픽 카드 6핀 변환 케이블 질문입니다. (6)	최승희	2009-08	21082	0
그래픽 카드 6핀 변환 케이블 질문입니다. (6) 2009-08 21082 1 최승희
46097	델 2408WFP 모니터 전원부가 고장난 것 같네요 (1)	성기사	2014-07	5205	0
델 2408WFP 모니터 전원부가 고장난 것 같… (1) 2014-07 5205 1 성기사
46096	쿼드로 사용처. (3)	쿰척쿰척	2016-10	4532	0
쿼드로 사용처. (3) 2016-10 4532 1 쿰척쿰척
46095	첸브로 RM21508B샤시의 HDD Simultaneously ON / Sequential Spin up이 무슨 기능인… (4)	소울라이온	2014-07	3858	0
첸브로 RM21508B샤시의 HDD Simultaneousl… (4) 2014-07 3858 1 소울라이온
46094	770de3l 보드에서의 사운드카드문제. (2)	노아디	2015-11	3417	0
770de3l 보드에서의 사운드카드문제. (2) 2015-11 3417 1 노아디