robots.txt 와 meta 테그를 사용한 봇 접근 제한

판매 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7562 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4443/5702

번호	제목Page 4443/5702	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (233)	백메가	2015-12	1651135	25
(광고) 단통법 시대의 인터넷가입 가이드(… (233) 2015-12 1651135 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5115616	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5115616 1 정은준1
25186	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7561	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7561 1 최용석
25185	홈페이지 서버 자체구축 질문입니다. (7)	박우열	2012-10	7562	0
홈페이지 서버 자체구축 질문입니다. (7) 2012-10 7562 1 박우열
25184	서브소닉 한글 깨짐문제 해결해보신분 계신가요? (2)	fLog	2013-09	7562	0
서브소닉 한글 깨짐문제 해결해보신분 계… (2) 2013-09 7562 1 fLog
25183	아론키보드사가 망한 건가요? (3)	차평석	2009-11	7562	0
아론키보드사가 망한 건가요? (3) 2009-11 7562 1 차평석
25182	sysnerge라는 프로그램 이거 윈도우7에서도 사용가능한가요? (4)	monan	2011-04	7563	0
sysnerge라는 프로그램 이거 윈도우7에서… (4) 2011-04 7563 1 monan
25181	시스템 점검중에 의문이있어 질문드립니다. (2)	이창묵	2004-09	7563	27
시스템 점검중에 의문이있어 질문드립니다. (2) 2004-09 7563 1 이창묵
25180	[수정] 분기당 5,000 달러 이상 해외 사용시 국세청(? 관세청?) 에 자동통보 되는 법… (13)	천외천oo노…	2014-10	7563	0
[수정] 분기당 5,000 달러 이상 해외 사용… (13) 2014-10 7563 1 천외천oo노…
25179	대구 사설 노트북 수리업체 추천 부탁드리겠습니다.	변규탁	2012-11	7563	0
대구 사설 노트북 수리업체 추천 부탁드리… 2012-11 7563 1 변규탁
25178	푸바2000을 사용합니다. DPI스케일링이 안됩니다. 도와주세요. (5)	이민우에요	2016-11	7563	0
푸바2000을 사용합니다. DPI스케일링이 안… (5) 2016-11 7563 1 이민우에요
25177	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7563	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7563 1 무아
25176	노트북 cpu는 호환되나요 (4)	우승엽	2005-01	7563	37
노트북 cpu는 호환되나요 (4) 2005-01 7563 1 우승엽
25175	SuperMicro X5DA8 MSD 메인보드에 대한 궁금증.. (8)	김기범	2004-07	7564	3
SuperMicro X5DA8 MSD 메인보드에 대한 궁… (8) 2004-07 7564 1 김기범
25174	꼭 알고 싶은 물건이 있습니다 (4)	임시현	2004-06	7564	10
꼭 알고 싶은 물건이 있습니다 (4) 2004-06 7564 1 임시현
25173	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7564	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7564 1 김명욱
25172	구형 SCSI Raid 카드를 얻었는데...(Compaq Smart 2DH Raid) (1)	이상기	2004-01	7564	17
구형 SCSI Raid 카드를 얻었는데...(Compa… (1) 2004-01 7564 1 이상기
25171	..3개월이 지나도 회원등업이 안되는 이유는? (9)	황혜진	2006-05	7564	317
..3개월이 지나도 회원등업이 안되는 이유… (9) 2006-05 7564 1 황혜진
25170	RRAS를 통해 RDP 연결시 지연현상이 나타납니다. (2)	황혼을향해	2012-12	7564	0
RRAS를 통해 RDP 연결시 지연현상이 나타… (2) 2012-12 7564 1 황혼을향해
25169	6각 드라이브 구할수 있는곳좀..(별모양 나사 풀려고함) (8)	유사용	2004-10	7564	7
6각 드라이브 구할수 있는곳좀..(별모양 … (8) 2004-10 7564 1 유사용
25168	업그레이드 한 만큼의 성능 향상	한창호	2004-08	7565	8
업그레이드 한 만큼의 성능 향상 2004-08 7565 1 한창호
25167	ML150 G2 문의 드립니다. (2)	overtrue	2009-12	7565	0
ML150 G2 문의 드립니다. (2) 2009-12 7565 1 overtrue