robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7248 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1272/5624

번호	제목Page 1272/5624	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1229713	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1229713 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (720)	정은준1	2014-05	4681894	0
[필독] 처음 오시는 분을 위한 안내 (720) 2014-05 4681894 1 정은준1
87054	아답터를 수리해주는 곳이 있을까요? (4)	최동민	2010-04	7251	0
아답터를 수리해주는 곳이 있을까요? (4) 2010-04 7251 1 최동민
87053	가상머신 외부접속 설정. (1)	서현석	2011-09	7251	0
가상머신 외부접속 설정. (1) 2011-09 7251 1 서현석
87052	GTX 295 vs GTX 460 중 영상작업시 어떤것이 좋은지 궁금합니다. (4)	classiccha	2011-02	7250	0
GTX 295 vs GTX 460 중 영상작업시 어떤것… (4) 2011-02 7250 1 classiccha
87051	레이드카드 질문드립니다. (5)	그그	2011-02	7250	0
레이드카드 질문드립니다. (5) 2011-02 7250 1 그그
87050	타블셋놋북이나 타블렛/패드에 붙이는 보호필름이 뭔가요? 그게 그렇게 비싼가요? (4)	김건우	2011-08	7250	0
타블셋놋북이나 타블렛/패드에 붙이는 보… (4) 2011-08 7250 1 김건우
87049	[질문] i3 그래픽 내장과 없는 시피유의 경우에.. (4)	나너우리	2011-02	7249	0
[질문] i3 그래픽 내장과 없는 시피유의 … (4) 2011-02 7249 1 나너우리
87048	x366 RAID를 설정하면 멤버HDD의 LED 점멸??? (2)	GoodWolf	2010-11	7249	0
x366 RAID를 설정하면 멤버HDD의 LED 점멸… (2) 2010-11 7249 1 GoodWolf
87047	Supermicro 메인보드 사망.... (2)	김현웅	2011-02	7249	0
Supermicro 메인보드 사망.... (2) 2011-02 7249 1 김현웅
87046	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7249	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7249 1 무아
87045	lg xnote r450 cpu 업그레이드 문의입니다. (15)	모토토	2019-04	7249	0
lg xnote r450 cpu 업그레이드 문의입니다. (15) 2019-04 7249 1 모토토
87044	HDD와 SSD 장착 랙 문의드립니다	미수맨	2013-11	7248	0
HDD와 SSD 장착 랙 문의드립니다 2013-11 7248 1 미수맨
87043	용산에서 ide용 3.5"외장케이스를 사려면 (4)	서미	2013-11	7248	0
용산에서 ide용 3.5"외장케이스를 사… (4) 2013-11 7248 1 서미
87042	슈퍼마이크로 x7dae i/o쉴드 구매가능한곳좀 알려주세요 (2)	김현웅	2011-05	7248	0
슈퍼마이크로 x7dae i/o쉴드 구매가능한곳… (2) 2011-05 7248 1 김현웅
87041	케이스의 철판을 자르는 방법에 대해 문의드리고 싶습니다. (4)	도동우	2007-07	7248	7
케이스의 철판을 자르는 방법에 대해 문의… (4) 2007-07 7248 1 도동우
87040	메모리 인식과 관련된 난제 (5)	Sico	2009-09	7248	0
메모리 인식과 관련된 난제 (5) 2009-09 7248 1 Sico
87039	드디어 해결했습니다. (3)	신재상	2005-01	7247	4
드디어 해결했습니다. (3) 2005-01 7247 1 신재상
87038	[해결] 차량에 묻은 시멘트물 자국 지우는법 아시나요 (14)	준바이	2018-03	7247	0
[해결] 차량에 묻은 시멘트물 자국 지우는… (14) 2018-03 7247 1 준바이
87037	사용하는 시스템의 사양을 알고 싶습니다. (6)	아름다운노을	2011-03	7247	0
사용하는 시스템의 사양을 알고 싶습니다. (6) 2011-03 7247 1 아름다운노을
87036	스카시 케이블.. (7)	현진	2004-06	7247	2
스카시 케이블.. (7) 2004-06 7247 1 현진
87035	혹시 이 무선 드릴 사용하는분 있는지요 (12)	가빠로구나	2011-04	7247	0
혹시 이 무선 드릴 사용하는분 있는지요 (12) 2011-04 7247 1 가빠로구나