robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7581 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4447/5707

번호	제목Page 4447/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5134370	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5134370 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1669340	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1669340 1 백메가
25204	잘 되다가 화면이 꺼져버립니다. (4)	ZEBE	2010-08	7576	0
잘 되다가 화면이 꺼져버립니다. (4) 2010-08 7576 1 ZEBE
25203	당나귀에 대한 문의 좀 드립니다. (10)	오성욱	2004-07	7576	3
당나귀에 대한 문의 좀 드립니다. (10) 2004-07 7576 1 오성욱
25202	기가비트 속도로 내부 전송이 가능한 구성도인지 확인 부탁 드립니다. (5)	landwolf	2011-07	7576	0
기가비트 속도로 내부 전송이 가능한 구성… (5) 2011-07 7576 1 landwolf
25201	AS기간 지난 그래픽카드가 고장났을때 어떻게 하시나요? (4)	백인학	2006-08	7576	18
AS기간 지난 그래픽카드가 고장났을때 어… (4) 2006-08 7576 1 백인학
25200	시스템 점검중에 의문이있어 질문드립니다. (2)	이창묵	2004-09	7577	27
시스템 점검중에 의문이있어 질문드립니다. (2) 2004-09 7577 1 이창묵
25199	ML150 G2 문의 드립니다. (2)	overtrue	2009-12	7577	0
ML150 G2 문의 드립니다. (2) 2009-12 7577 1 overtrue
25198	하드디스크 PCB 기판을 교체하려고 합니다. (4)	즐꿈	2015-11	7577	0
하드디스크 PCB 기판을 교체하려고 합니다. (4) 2015-11 7577 1 즐꿈
25197	서브소닉 한글 깨짐문제 해결해보신분 계신가요? (2)	fLog	2013-09	7577	0
서브소닉 한글 깨짐문제 해결해보신분 계… (2) 2013-09 7577 1 fLog
25196	노트북 cpu는 호환되나요 (4)	우승엽	2005-01	7577	37
노트북 cpu는 호환되나요 (4) 2005-01 7577 1 우승엽
25195	Cisco UCS 서버 어떤가요? (7)	슬리미	2012-03	7578	0
Cisco UCS 서버 어떤가요? (7) 2012-03 7578 1 슬리미
25194	대구 사설 노트북 수리업체 추천 부탁드리겠습니다.	변규탁	2012-11	7578	0
대구 사설 노트북 수리업체 추천 부탁드리… 2012-11 7578 1 변규탁
25193	CPU Cooler 문의 드립니다. (4)	GoodWolf	2011-01	7578	0
CPU Cooler 문의 드립니다. (4) 2011-01 7578 1 GoodWolf
25192	mp2200 황색이 팔로인가요? 써러인가요? (2)	김형필	2004-06	7578	28
mp2200 황색이 팔로인가요? 써러인가요? (2) 2004-06 7578 1 김형필
25191	6각 드라이브 구할수 있는곳좀..(별모양 나사 풀려고함) (8)	유사용	2004-10	7578	7
6각 드라이브 구할수 있는곳좀..(별모양 … (8) 2004-10 7578 1 유사용
25190	윈도우 모드에서 BIOS 업데이트 할 방법 없나요 (3)	이창묵	2004-08	7578	12
윈도우 모드에서 BIOS 업데이트 할 방법 … (3) 2004-08 7578 1 이창묵
25189	영어 해석좀 부탁드립니다. (4)	여주이상돈	2011-02	7579	0
영어 해석좀 부탁드립니다. (4) 2011-02 7579 1 여주이상돈
25188	얼마전 질문올렸던 메인보드의 MSG LED동작여부에 대해서... (2)	김건우	2015-02	7579	0
얼마전 질문올렸던 메인보드의 MSG LED동… (2) 2015-02 7579 1 김건우
25187	푸바2000을 사용합니다. DPI스케일링이 안됩니다. 도와주세요. (5)	이민우에요	2016-11	7579	0
푸바2000을 사용합니다. DPI스케일링이 안… (5) 2016-11 7579 1 이민우에요
25186	슈퍼마이크로 X8DTL-i Adaptec RAID1 속도저하와 여러가지 문제 (4)	카프카	2013-06	7579	0
슈퍼마이크로 X8DTL-i Adaptec RAID1 속도… (4) 2013-06 7579 1 카프카
25185	RRAS를 통해 RDP 연결시 지연현상이 나타납니다. (2)	황혼을향해	2012-12	7579	0
RRAS를 통해 RDP 연결시 지연현상이 나타… (2) 2012-12 7579 1 황혼을향해