robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7577 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3838/5706

번호	제목Page 3838/5706	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5132561	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5132561 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1667607	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1667607 1 백메가
37375	wd green 시리즈 hdd를 레이드 구성하면 에러가 많이 나나요? (7)	새로운차원	2011-06	6643	0
wd green 시리즈 hdd를 레이드 구성하면 … (7) 2011-06 6643 1 새로운차원
37374	GPT디스크 네트워크 공유...? (10)	motion	2011-06	7006	0
GPT디스크 네트워크 공유...? (10) 2011-06 7006 1 motion
37373	c: 드라이브 용량. (6)	onlyONE	2011-06	8490	0
c: 드라이브 용량. (6) 2011-06 8490 1 onlyONE
37372	구글 클라우드 프린팅 써비스 데이터 패킷이 엄청나네요. (1)	나너우리	2011-06	8401	0
구글 클라우드 프린팅 써비스 데이터 패킷… (1) 2011-06 8401 1 나너우리
37371	aix 6.1에서 xl c/c++ 11.1 설치 방법좀 알려 주세요. (3)	최동현	2011-06	10921	0
aix 6.1에서 xl c/c++ 11.1 설치 방법좀 … (3) 2011-06 10921 1 최동현
37370	네트웍 보안 (2)	klein	2011-06	6213	0
네트웍 보안 (2) 2011-06 6213 1 klein
37369	이런 타입의 ㄱ 자 사타케이블 구입처 혹시 알고 계시는지요? (8)	classiccha	2011-06	8293	0
이런 타입의 ㄱ 자 사타케이블 구입처 혹… (8) 2011-06 8293 1 classiccha
37368	HP XW8400 웍스테이션에 XEON E5405 장착 가능한지요 ? (2)	제온프로	2011-06	8830	0
HP XW8400 웍스테이션에 XEON E5405 장착 … (2) 2011-06 8830 1 제온프로
37367	윈도우 7 공유 파일 접근 문의 입니다. (1)	허대웅	2011-06	8289	0
윈도우 7 공유 파일 접근 문의 입니다. (1) 2011-06 8289 1 허대웅
37366	서버백업후 복구 문제 (1)	데이비드	2011-06	6768	0
서버백업후 복구 문제 (1) 2011-06 6768 1 데이비드
37365	컴퓨터가 자꾸 재부팅 되는대 아주 골때리는 상황입니다. 조언 부탁 드려요 (3)	jore	2011-06	7212	0
컴퓨터가 자꾸 재부팅 되는대 아주 골때리… (3) 2011-06 7212 1 jore
37364	천장에 설치하는 문(?)을 구입하려 하는데 어디서 구입해야 하나요? (2)	조명수	2011-06	7745	0
천장에 설치하는 문(?)을 구입하려 하는데… (2) 2011-06 7745 1 조명수
37363	Oracle NT 가격좀 알려보려고 하는데 업체좀 소개부탁드립니다. (2)	김진관	2011-06	7037	0
Oracle NT 가격좀 알려보려고 하는데 업체… (2) 2011-06 7037 1 김진관
37362	바이오스에 진입이 안되는 경우가 있습니다. (9)	장동건2014	2011-06	8161	0
바이오스에 진입이 안되는 경우가 있습니… (9) 2011-06 8161 1 장동건2014
37361	모니터에 전원이 안들어옵니다. (3)	박교수	2011-06	6256	0
모니터에 전원이 안들어옵니다. (3) 2011-06 6256 1 박교수
37360	네할렘 보드 질문드립니다.. (2)	anti2cpu	2011-06	6711	0
네할렘 보드 질문드립니다.. (2) 2011-06 6711 1 anti2cpu
37359	마이크로 SD 추천 부탁드립니다. (8)	스카이	2011-06	6967	0
마이크로 SD 추천 부탁드립니다. (8) 2011-06 6967 1 스카이
37358	삽질을 끝내며,,,,문제는 바로.. (2)	장동건2014	2011-06	5855	0
삽질을 끝내며,,,,문제는 바로.. (2) 2011-06 5855 1 장동건2014
37357	HP Pavilion DV7-3063CL 질문드립니다 (4)	AKA지니	2011-06	7672	0
HP Pavilion DV7-3063CL 질문드립니다 (4) 2011-06 7672 1 AKA지니
37356	또다시 vmware 질문입니다. (2)	장동건2014	2011-06	6030	0
또다시 vmware 질문입니다. (2) 2011-06 6030 1 장동건2014