robots.txt 와 meta 테그를 사용한 봇 접근 제한

해외구매 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7427 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3791/5657

번호	제목Page 3791/5657	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4860750	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4860750 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1405960	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1405960 1 백메가
37332	레오텍사의 메인보드 바이오스 업데이트시.. (1)	구명서	2005-05	6048	64
레오텍사의 메인보드 바이오스 업데이트시… (1) 2005-05 6048 1 구명서
37331	제가 갖고있는 메인보드에서 외부(pci,pcie) 랜카드로 wol할 때 +5vsb에 적어도 1a … (6)	김건우	2015-11	6048	0
제가 갖고있는 메인보드에서 외부(pci,pci… (6) 2015-11 6048 1 김건우
37330	제 타블렛에 내부저장소 / 전화저장소라는게 있는데 메모리가 2개 장착된건가요? 외… (1)	김건우	2015-12	6048	0
제 타블렛에 내부저장소 / 전화저장소라는… (1) 2015-12 6048 1 김건우
37329	이런케이스 있나요? (8)	방o효o문	2011-07	6048	0
이런케이스 있나요? (8) 2011-07 6048 1 방o효o문
37328	하드디스크 에러 질문입니다 (1)	ging	2009-08	6048	0
하드디스크 에러 질문입니다 (1) 2009-08 6048 1 ging
37327	[ 다량의 OS 설치 ] 고수님들은 어케 까시는지요 ? (14)	전설속의미…	2015-07	6048	0
[ 다량의 OS 설치 ] 고수님들은 어케 까시… (14) 2015-07 6048 1 전설속의미…
37326	MRTG등의 시스템 모니터링 툴 추천부탁드려요 (윈도우용) (3)	김석권	2008-02	6048	9
MRTG등의 시스템 모니터링 툴 추천부탁드… (3) 2008-02 6048 1 김석권
37325	vmware가상OS에서도 백신을 깔아줘야하나요? (2)	김도헌	2006-02	6048	15
vmware가상OS에서도 백신을 깔아줘야하나… (2) 2006-02 6048 1 김도헌
37324	광출력연결하면 5채널 스피커 모두에서 소리나야 하는거 아닌가요? (2)	김건우	2012-08	6048	0
광출력연결하면 5채널 스피커 모두에서 소… (2) 2012-08 6048 1 김건우
37323	통신사UTM vs 보안업체UTM 차이가 궁금합니다!! (17)	인호	2016-03	6049	0
통신사UTM vs 보안업체UTM 차이가 궁금합… (17) 2016-03 6049 1 인호
37322	동영상 엔코딩 cpu 추천 요망 (4)	이상복	2005-04	6049	8
동영상 엔코딩 cpu 추천 요망 (4) 2005-04 6049 1 이상복
37321	IBM Intellistation z pro 9228 부팅순서 (1)	yoony	2011-12	6049	0
IBM Intellistation z pro 9228 부팅순서 (1) 2011-12 6049 1 yoony
37320	프로그래밍 가능한 랜카드에 대한 질문이 하나 있습니다. (31)	이황희	2013-12	6049	0
프로그래밍 가능한 랜카드에 대한 질문이 … (31) 2013-12 6049 1 이황희
37319	DB를 만들려고 합니다. 도와주세요. (9)	남성룡	2006-09	6049	17
DB를 만들려고 합니다. 도와주세요. (9) 2006-09 6049 1 남성룡
37318	[질문] RAID 카드 어레이 구성 문의. (3)	굴다리교	2011-02	6049	0
[질문] RAID 카드 어레이 구성 문의. (3) 2011-02 6049 1 굴다리교
37317	인텔의 D915GAG 보드에서 USB 드라이버가 안 잡힙니다. (7)	김경락	2005-08	6050	50
인텔의 D915GAG 보드에서 USB 드라이버가 … (7) 2005-08 6050 1 김경락
37316	windows2003 x64 - 한글팩(MUI)는 마소다운로드에 없나요? (4)	김건우	2008-11	6050	4
windows2003 x64 - 한글팩(MUI)는 마소다… (4) 2008-11 6050 1 김건우
37315	KT 재가입하려고 하는데 경품이나 그런거 많은데가 어디죠? (9)	푸릉이	2009-07	6050	0
KT 재가입하려고 하는데 경품이나 그런거 … (9) 2009-07 6050 1 푸릉이
37314	노트북 비프음 8번 납니다.. (6)	오티스	2016-09	6050	0
노트북 비프음 8번 납니다.. (6) 2016-09 6050 1 오티스
37313	아래 ML350 Gen9 질문에 이어 (3)	카프카	2014-11	6050	0
아래 ML350 Gen9 질문에 이어 (3) 2014-11 6050 1 카프카