robots.txt 와 meta 테그를 사용한 봇 접근 제한

네트웍 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7444 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3757/5665

번호	제목Page 3757/5665	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4905393	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4905393 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1443863	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1443863 1 백메가
38162	안녕하세요 치과 다녀왔는데요 (14)	신관악산	2011-08	7570	0
안녕하세요 치과 다녀왔는데요 (14) 2011-08 7570 1 신관악산
38161	[파워]이걸 불량이라고 봐야 하는지 아니라고 봐야하는지.... (7)	안형곤	2011-08	6265	0
[파워]이걸 불량이라고 봐야 하는지 아니… (7) 2011-08 6265 1 안형곤
38160	안녕하세요~ 시스템 구성 질문드립니다. (11)	Ballrok	2011-08	6072	0
안녕하세요~ 시스템 구성 질문드립니다. (11) 2011-08 6072 1 Ballrok
38159	하드디스크에 들어 잇는 자석으로 발전기 만들기 어렵나요? (2)	가빠로구나	2011-08	9406	0
하드디스크에 들어 잇는 자석으로 발전기… (2) 2011-08 9406 1 가빠로구나
38158	windows서버2008 64bit에서 쓸수있는 팩스모뎀 어떤게 있나요? (2)	허수아비	2011-08	6945	0
windows서버2008 64bit에서 쓸수있는 팩스… (2) 2011-08 6945 1 허수아비
38157	raid M1015 사용시 문제점 (2)	이상율1	2011-08	7556	0
raid M1015 사용시 문제점 (2) 2011-08 7556 1 이상율1
38156	msi p67a-gd53보드 무한 리셋 증상에 관해 여쭙습니다. (1)	전영신	2011-08	8124	0
msi p67a-gd53보드 무한 리셋 증상에 관해… (1) 2011-08 8124 1 전영신
38155	5.25 시디롬을 장착할수있는 타워형태의 랙이 있나요? (4)	미수맨	2011-08	5943	0
5.25 시디롬을 장착할수있는 타워형태의 … (4) 2011-08 5943 1 미수맨
38154	국민카드 br10i가 말을 안듣습니다. 조언좀 부탁드립니다. (4)	wo9abak1	2011-08	6492	0
국민카드 br10i가 말을 안듣습니다. 조언… (4) 2011-08 6492 1 wo9abak1
38153	[해결 완료] 자동부팅되는 현상... 질문드립니다ㅜㅜ (23)	노휘래	2011-08	32331	0
[해결 완료] 자동부팅되는 현상... 질문드… (23) 2011-08 32331 1 노휘래
38152	PCI-Express x1 x4 x8용 그래픽 카드? (11)	huniz	2011-08	13199	0
PCI-Express x1 x4 x8용 그래픽 카드? (11) 2011-08 13199 1 huniz
38151	DELL PERC6/IR 에서의 AHCI모드 설정. (11)	huniz	2011-08	9291	0
DELL PERC6/IR 에서의 AHCI모드 설정. (11) 2011-08 9291 1 huniz
38150	e sata를 이용한 데이터 케이블은 없나요?? (2)	병맛폰	2011-08	5970	0
e sata를 이용한 데이터 케이블은 없나요?? (2) 2011-08 5970 1 병맛폰
38149	Quadro 3400의 드라이버 (2)	아름다운노을	2011-08	5871	0
Quadro 3400의 드라이버 (2) 2011-08 5871 1 아름다운노을
38148	2008R2 서버에서 터미널 서비스에 대한 문의입니다.	스카이	2011-08	6154	0
2008R2 서버에서 터미널 서비스에 대한 문… 2011-08 6154 1 스카이
38147	perc 6i 에서 채널별로 각각의 레이드 구성은 안되는지요? (2)	스카이	2011-08	6172	0
perc 6i 에서 채널별로 각각의 레이드 구… (2) 2011-08 6172 1 스카이
38146	정터에 올라온 htpc 인데... (5)	건약	2011-08	6632	0
정터에 올라온 htpc 인데... (5) 2011-08 6632 1 건약
38145	공유기의 배치에 대해 조언구합니다. (5)	황혼을향해	2011-08	6012	0
공유기의 배치에 대해 조언구합니다. (5) 2011-08 6012 1 황혼을향해
38144	Win2003 Server R2를 USB로 설치.. (3)	Larry	2011-08	7818	0
Win2003 Server R2를 USB로 설치.. (3) 2011-08 7818 1 Larry
38143	CentOS6 64bit 에서 사용할 수 있는 최대 메모리량이 얼마인가요? (4)	페인프린	2011-08	14771	0
CentOS6 64bit 에서 사용할 수 있는 최대… (4) 2011-08 14771 1 페인프린