robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7525 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3830/5696

번호	제목Page 3830/5696	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (730)	정은준1	2014-05	5030114	0
[필독] 처음 오시는 분을 위한 안내 (730) 2014-05 5030114 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (230)	백메가	2015-12	1566662	25
(광고) 단통법 시대의 인터넷가입 가이드(… (230) 2015-12 1566662 1 백메가
37330	스카시 rw질문입니다. (5)	민정기	2005-04	6177	34
스카시 rw질문입니다. (5) 2005-04 6177 1 민정기
37329	Web companion 삭제방법 궁금합니다 (2)	NiteFlite9	2018-07	6177	0
Web companion 삭제방법 궁금합니다 (2) 2018-07 6177 1 NiteFlite9
37328	SATA1세대에서 핫플러그 지원하는 모델.. (4)	박준승	2005-05	6177	3
SATA1세대에서 핫플러그 지원하는 모델.. (4) 2005-05 6177 1 박준승
37327	세팅 문의드립니다. (2)	할아버지	2010-06	6177	0
세팅 문의드립니다. (2) 2010-06 6177 1 할아버지
37326	매크로 프로그램 추천해주세요. (2)	정은준	2008-04	6177	14
매크로 프로그램 추천해주세요. (2) 2008-04 6177 1 정은준
37325	다사 한번 질문 올립니다. 아마퀘슽 6300 케이스에 3.5인치 하드 달기입니다. (2)	채윤성	2005-06	6178	60
다사 한번 질문 올립니다. 아마퀘슽… (2) 2005-06 6178 1 채윤성
37324	dell t7810 윈도우10 다시 시작하기 하면 화면은 안뜨고 먹통이 되어 버립니다. (6)	KindOfBlue	2016-01	6178	0
dell t7810 윈도우10 다시 시작하기 하면 … (6) 2016-01 6178 1 KindOfBlue
37323	. Win XP pro sp2에서 사용자 계정 관련 질문합니다. (2)	박종대	2005-05	6178	9
. Win XP pro sp2에서 사용자 계정 관련 … (2) 2005-05 6178 1 박종대
37322	dell poweredge T320 파워좀 저렴하게 업그레이드 시키는법 없나요? (3)	QS왕통키손…	2013-07	6178	0
dell poweredge T320 파워좀 저렴하게 업… (3) 2013-07 6178 1 QS왕통키손…
37321	초등학교 애들용 2층 침대의 사용 후기 부탁드립니다. (5)	곽순현	2008-04	6178	22
초등학교 애들용 2층 침대의 사용 후기 부… (5) 2008-04 6178 1 곽순현
37320	도선관련질문좀 할려고합니다 (2)	정경원	2006-04	6178	11
도선관련질문좀 할려고합니다 (2) 2006-04 6178 1 정경원
37319	bash shell 보안 문제 (1)	나파이강승훈	2014-10	6178	0
bash shell 보안 문제 (1) 2014-10 6178 1 나파이강승훈
37318	[질문] avi를 mpeg2로 변환시 가장 빠른 툴은 어떤게 있나요.? (2)	장현모	2005-05	6178	5
[질문] avi를 mpeg2로 변환시 가장 빠른 … (2) 2005-05 6178 1 장현모
37317	비스타나 윈 7 쓰시는분들깨 드리는 질문 (2)	방o효o문	2009-06	6178	0
비스타나 윈 7 쓰시는분들깨 드리는 질문 (2) 2009-06 6178 1 방o효o문
37316	메인보드없이 파워구동 할 수 있는 방법을 모색중 입니다. (11)	리얼쿠퍼	2016-05	6178	1
메인보드없이 파워구동 할 수 있는 방법을… (11) 2016-05 6178 1 리얼쿠퍼
37315	핸드폰 사진을 리사이즈 & 워터마크 삽입해주는 어플이 있을까요? (2)	정은준1	2018-05	6178	0
핸드폰 사진을 리사이즈 & 워터마크 삽입… (2) 2018-05 6178 1 정은준1
37314	220 v 전기선에서 한선만 물에 담그면 어찌되는지요 (8)	가빠로구나	2015-07	6178	0
220 v 전기선에서 한선만 물에 담그면 어… (8) 2015-07 6178 1 가빠로구나
37313	그래픽내장 보드와 라데온 계열 그래픽카드 궁합.. (5)	2CPU최주희	2012-11	6178	0
그래픽내장 보드와 라데온 계열 그래픽카… (5) 2012-11 6178 1 2CPU최주희
37312	시스코 스위치 고장 및 AS 관련 질문입니다. (4)	박청명	2014-10	6178	0
시스코 스위치 고장 및 AS 관련 질문입니… (4) 2014-10 6178 1 박청명
37311	MRTG등의 시스템 모니터링 툴 추천부탁드려요 (윈도우용) (3)	김석권	2008-02	6179	9
MRTG등의 시스템 모니터링 툴 추천부탁드… (3) 2008-02 6179 1 김석권