robots.txt 와 meta 테그를 사용한 봇 접근 제한

BMT more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7230 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3751/5620

번호	제목Page 3751/5620	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1196180	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1196180 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (720)	정은준1	2014-05	4649192	0
[필독] 처음 오시는 분을 위한 안내 (720) 2014-05 4649192 1 정은준1
37392	DELL PERC 6/i BBU 제작??? (5)	원주멋진덩치	2011-06	6641	0
DELL PERC 6/i BBU 제작??? (5) 2011-06 6641 1 원주멋진덩치
37391	wd green 시리즈 hdd를 레이드 구성하면 에러가 많이 나나요? (7)	새로운차원	2011-06	6339	0
wd green 시리즈 hdd를 레이드 구성하면 … (7) 2011-06 6339 1 새로운차원
37390	GPT디스크 네트워크 공유...? (10)	motion	2011-06	6755	0
GPT디스크 네트워크 공유...? (10) 2011-06 6755 1 motion
37389	c: 드라이브 용량. (6)	onlyONE	2011-06	8171	0
c: 드라이브 용량. (6) 2011-06 8171 1 onlyONE
37388	구글 클라우드 프린팅 써비스 데이터 패킷이 엄청나네요. (1)	나너우리	2011-06	8134	0
구글 클라우드 프린팅 써비스 데이터 패킷… (1) 2011-06 8134 1 나너우리
37387	aix 6.1에서 xl c/c++ 11.1 설치 방법좀 알려 주세요. (3)	최동현	2011-06	10619	0
aix 6.1에서 xl c/c++ 11.1 설치 방법좀 … (3) 2011-06 10619 1 최동현
37386	네트웍 보안 (2)	klein	2011-06	5952	0
네트웍 보안 (2) 2011-06 5952 1 klein
37385	이런 타입의 ㄱ 자 사타케이블 구입처 혹시 알고 계시는지요? (8)	classiccha	2011-06	7998	0
이런 타입의 ㄱ 자 사타케이블 구입처 혹… (8) 2011-06 7998 1 classiccha
37384	HP XW8400 웍스테이션에 XEON E5405 장착 가능한지요 ? (2)	제온프로	2011-06	8545	0
HP XW8400 웍스테이션에 XEON E5405 장착 … (2) 2011-06 8545 1 제온프로
37383	윈도우 7 공유 파일 접근 문의 입니다. (1)	허대웅	2011-06	8012	0
윈도우 7 공유 파일 접근 문의 입니다. (1) 2011-06 8012 1 허대웅
37382	서버백업후 복구 문제 (1)	데이비드	2011-06	6465	0
서버백업후 복구 문제 (1) 2011-06 6465 1 데이비드
37381	컴퓨터가 자꾸 재부팅 되는대 아주 골때리는 상황입니다. 조언 부탁 드려요 (3)	jore	2011-06	6898	0
컴퓨터가 자꾸 재부팅 되는대 아주 골때리… (3) 2011-06 6898 1 jore
37380	천장에 설치하는 문(?)을 구입하려 하는데 어디서 구입해야 하나요? (2)	조명수	2011-06	7261	0
천장에 설치하는 문(?)을 구입하려 하는데… (2) 2011-06 7261 1 조명수
37379	Oracle NT 가격좀 알려보려고 하는데 업체좀 소개부탁드립니다. (2)	김진관	2011-06	6674	0
Oracle NT 가격좀 알려보려고 하는데 업체… (2) 2011-06 6674 1 김진관
37378	바이오스에 진입이 안되는 경우가 있습니다. (9)	장동건2014	2011-06	7824	0
바이오스에 진입이 안되는 경우가 있습니… (9) 2011-06 7824 1 장동건2014
37377	모니터에 전원이 안들어옵니다. (3)	박교수	2011-06	6006	0
모니터에 전원이 안들어옵니다. (3) 2011-06 6006 1 박교수
37376	네할렘 보드 질문드립니다.. (2)	anti2cpu	2011-06	6391	0
네할렘 보드 질문드립니다.. (2) 2011-06 6391 1 anti2cpu
37375	마이크로 SD 추천 부탁드립니다. (8)	스카이	2011-06	6695	0
마이크로 SD 추천 부탁드립니다. (8) 2011-06 6695 1 스카이
37374	삽질을 끝내며,,,,문제는 바로.. (2)	장동건2014	2011-06	5486	0
삽질을 끝내며,,,,문제는 바로.. (2) 2011-06 5486 1 장동건2014
37373	HP Pavilion DV7-3063CL 질문드립니다 (4)	AKA지니	2011-06	7335	0
HP Pavilion DV7-3063CL 질문드립니다 (4) 2011-06 7335 1 AKA지니