robots.txt 와 meta 테그를 사용한 봇 접근 제한

견적 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7612 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4453/5710

번호	제목Page 4453/5710	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5159755	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5159755 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1694063	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1694063 1 백메가
25151	RMA 문의 입니다. (1)	최일섭	2006-09	7609	18
RMA 문의 입니다. (1) 2006-09 7609 1 최일섭
25150	구형 연결잭이 달린 키보드를 구입할곳이 없나요? (4)	추상화	2005-03	7610	46
구형 연결잭이 달린 키보드를 구입할곳이 … (4) 2005-03 7610 1 추상화
25149	[ 목공예 ] 아파트 거실 문틀 수리 (9)	전설속의미…	2017-10	7610	0
[ 목공예 ] 아파트 거실 문틀 수리 (9) 2017-10 7610 1 전설속의미…
25148	BIOS 편집 (1)	우판석	2004-06	7611	8
BIOS 편집 (1) 2004-06 7611 1 우판석
25147	타블렛 이거 쓸만한 건가요? (3)	곽순현	2013-07	7611	0
타블렛 이거 쓸만한 건가요? (3) 2013-07 7611 1 곽순현
25146	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7611	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7611 1 최용석
25145	미니 SATA ? 마이크로 SATA ? (5)	Hermes	2011-12	7611	0
미니 SATA ? 마이크로 SATA ? (5) 2011-12 7611 1 Hermes
25144	삼성 노트북 펌업그레이드방법문의 (4)	거니네	2013-09	7611	0
삼성 노트북 펌업그레이드방법문의 (4) 2013-09 7611 1 거니네
25143	엠트론 서버용 SSD 64기가짜리가 있는데 OS에 쓰는게 괜찮을까요? (2)	블랙	2011-04	7612	0
엠트론 서버용 SSD 64기가짜리가 있는데 O… (2) 2011-04 7612 1 블랙
25142	갑자기 생각난 어처구니 없는 질문입니다만.... (3)	오재호	2004-06	7612	12
갑자기 생각난 어처구니 없는 질문입니다… (3) 2004-06 7612 1 오재호
25141	quadro 900xgl agp&directx 가속문제 (5)	김재환	2004-01	7612	6
quadro 900xgl agp&directx 가속문제 (5) 2004-01 7612 1 김재환
25140	헉! 시디가 폭팔 할 수 도 있나요? (10)	이영선	2004-06	7612	8
헉! 시디가 폭팔 할 수 도 있나요? (10) 2004-06 7612 1 이영선
25139	hp 관계자분께 질문!!! 요즘 나오는 스마트 메모린 뭐가 달라요? (2)	김황중	2014-06	7612	0
hp 관계자분께 질문!!! 요즘 나오는 스마… (2) 2014-06 7612 1 김황중
25138	X25-V SSD 40G X 2 vs 500G SATA X 2 (5)	신정욱	2010-07	7612	0
X25-V SSD 40G X 2 vs 500G SATA X 2 (5) 2010-07 7612 1 신정욱
25137	370DE6나 P3TDE6-G 보드의 AGP 슬롯 (4)	김주영	2004-08	7613	39
370DE6나 P3TDE6-G 보드의 AGP 슬롯 (4) 2004-08 7613 1 김주영
25136	흑백 레이져 프린터 잘 아시는 분께... (8)	문병채	2009-04	7613	0
흑백 레이져 프린터 잘 아시는 분께... (8) 2009-04 7613 1 문병채
25135	얼마전 질문올렸던 메인보드의 MSG LED동작여부에 대해서... (2)	김건우	2015-02	7613	0
얼마전 질문올렸던 메인보드의 MSG LED동… (2) 2015-02 7613 1 김건우
25134	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7613	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7613 1 무아
25133	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7614	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7614 1 김명욱
25132	SAS 2.5인치 를 컨버터를 써서 3.5로 연결할때 성능저하 있을까요? (5)	블랙	2011-03	7614	0
SAS 2.5인치 를 컨버터를 써서 3.5로 연결… (5) 2011-03 7614 1 블랙