robots.txt 와 meta 테그를 사용한 봇 접근 제한

구매 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7437 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3756/5664

번호	제목Page 3756/5664	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4901096	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4901096 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1439694	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1439694 1 백메가
38163	F5 Networks의 BIG-6800 전원부 수리 할만한 데 있나요? (2)	지니보이	2011-08	6416	0
F5 Networks의 BIG-6800 전원부 수리 할만… (2) 2011-08 6416 1 지니보이
38162	특정 IP와의 통신만 VPN 서버를 경유 (2)	버지니아	2011-08	8120	0
특정 IP와의 통신만 VPN 서버를 경유 (2) 2011-08 8120 1 버지니아
38161	2008 R2 에서 hostednetwork 부팅시에 자동으로 시작하는 방법? (4)	정희섭	2011-08	6026	0
2008 R2 에서 hostednetwork 부팅시에 자… (4) 2011-08 6026 1 정희섭
38160	안녕하세요 치과 다녀왔는데요 (14)	신관악산	2011-08	7566	0
안녕하세요 치과 다녀왔는데요 (14) 2011-08 7566 1 신관악산
38159	[파워]이걸 불량이라고 봐야 하는지 아니라고 봐야하는지.... (7)	안형곤	2011-08	6259	0
[파워]이걸 불량이라고 봐야 하는지 아니… (7) 2011-08 6259 1 안형곤
38158	안녕하세요~ 시스템 구성 질문드립니다. (11)	Ballrok	2011-08	6069	0
안녕하세요~ 시스템 구성 질문드립니다. (11) 2011-08 6069 1 Ballrok
38157	하드디스크에 들어 잇는 자석으로 발전기 만들기 어렵나요? (2)	가빠로구나	2011-08	9402	0
하드디스크에 들어 잇는 자석으로 발전기… (2) 2011-08 9402 1 가빠로구나
38156	windows서버2008 64bit에서 쓸수있는 팩스모뎀 어떤게 있나요? (2)	허수아비	2011-08	6941	0
windows서버2008 64bit에서 쓸수있는 팩스… (2) 2011-08 6941 1 허수아비
38155	raid M1015 사용시 문제점 (2)	이상율1	2011-08	7548	0
raid M1015 사용시 문제점 (2) 2011-08 7548 1 이상율1
38154	msi p67a-gd53보드 무한 리셋 증상에 관해 여쭙습니다. (1)	전영신	2011-08	8123	0
msi p67a-gd53보드 무한 리셋 증상에 관해… (1) 2011-08 8123 1 전영신
38153	5.25 시디롬을 장착할수있는 타워형태의 랙이 있나요? (4)	미수맨	2011-08	5939	0
5.25 시디롬을 장착할수있는 타워형태의 … (4) 2011-08 5939 1 미수맨
38152	국민카드 br10i가 말을 안듣습니다. 조언좀 부탁드립니다. (4)	wo9abak1	2011-08	6488	0
국민카드 br10i가 말을 안듣습니다. 조언… (4) 2011-08 6488 1 wo9abak1
38151	[해결 완료] 자동부팅되는 현상... 질문드립니다ㅜㅜ (23)	노휘래	2011-08	32321	0
[해결 완료] 자동부팅되는 현상... 질문드… (23) 2011-08 32321 1 노휘래
38150	PCI-Express x1 x4 x8용 그래픽 카드? (11)	huniz	2011-08	13196	0
PCI-Express x1 x4 x8용 그래픽 카드? (11) 2011-08 13196 1 huniz
38149	DELL PERC6/IR 에서의 AHCI모드 설정. (11)	huniz	2011-08	9289	0
DELL PERC6/IR 에서의 AHCI모드 설정. (11) 2011-08 9289 1 huniz
38148	e sata를 이용한 데이터 케이블은 없나요?? (2)	병맛폰	2011-08	5965	0
e sata를 이용한 데이터 케이블은 없나요?? (2) 2011-08 5965 1 병맛폰
38147	Quadro 3400의 드라이버 (2)	아름다운노을	2011-08	5868	0
Quadro 3400의 드라이버 (2) 2011-08 5868 1 아름다운노을
38146	2008R2 서버에서 터미널 서비스에 대한 문의입니다.	스카이	2011-08	6151	0
2008R2 서버에서 터미널 서비스에 대한 문… 2011-08 6151 1 스카이
38145	perc 6i 에서 채널별로 각각의 레이드 구성은 안되는지요? (2)	스카이	2011-08	6168	0
perc 6i 에서 채널별로 각각의 레이드 구… (2) 2011-08 6168 1 스카이
38144	정터에 올라온 htpc 인데... (5)	건약	2011-08	6630	0
정터에 올라온 htpc 인데... (5) 2011-08 6630 1 건약