robots.txt 와 meta 테그를 사용한 봇 접근 제한

UnBoxing more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7584 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4448/5707

번호	제목Page 4448/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5135673	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5135673 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1670580	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1670580 1 백메가
25192	슈퍼마이크로 X8DTL-i Adaptec RAID1 속도저하와 여러가지 문제 (4)	카프카	2013-06	7580	0
슈퍼마이크로 X8DTL-i Adaptec RAID1 속도… (4) 2013-06 7580 1 카프카
25191	기가비트 속도로 내부 전송이 가능한 구성도인지 확인 부탁 드립니다. (5)	landwolf	2011-07	7580	0
기가비트 속도로 내부 전송이 가능한 구성… (5) 2011-07 7580 1 landwolf
25190	노트북 cpu는 호환되나요 (4)	우승엽	2005-01	7580	37
노트북 cpu는 호환되나요 (4) 2005-01 7580 1 우승엽
25189	6각 드라이브 구할수 있는곳좀..(별모양 나사 풀려고함) (8)	유사용	2004-10	7580	7
6각 드라이브 구할수 있는곳좀..(별모양 … (8) 2004-10 7580 1 유사용
25188	멀티 태스킹에 4MB 캐쉬도 모자라나요? (6)	마이코코	2011-08	7581	0
멀티 태스킹에 4MB 캐쉬도 모자라나요? (6) 2011-08 7581 1 마이코코
25187	잘 되다가 화면이 꺼져버립니다. (4)	ZEBE	2010-08	7581	0
잘 되다가 화면이 꺼져버립니다. (4) 2010-08 7581 1 ZEBE
25186	가정용(?) 에어 컴프레셔로 무얼 하나요? (5)	무아	2017-02	7581	0
가정용(?) 에어 컴프레셔로 무얼 하나요? (5) 2017-02 7581 1 무아
25185	브랜드서버와 조립서버?의 차이점 (7)	홍동권	2004-10	7582	10
브랜드서버와 조립서버?의 차이점 (7) 2004-10 7582 1 홍동권
25184	HD Audio 케이블 구입 문의 (2)	뭐라카노	2011-07	7582	0
HD Audio 케이블 구입 문의 (2) 2011-07 7582 1 뭐라카노
25183	_ 썬 코발트서버 RaQ 4에 대한 어떠한 조언도 감사드립니다 _ (2)	이영선	2004-06	7582	47
_ 썬 코발트서버 RaQ 4에 대한 어떠한 조… (2) 2004-06 7582 1 이영선
25182	RRAS를 통해 RDP 연결시 지연현상이 나타납니다. (2)	황혼을향해	2012-12	7582	0
RRAS를 통해 RDP 연결시 지연현상이 나타… (2) 2012-12 7582 1 황혼을향해
25181	[Hyper-V] IP설정 문의 (9)	이원재K	2013-07	7583	0
[Hyper-V] IP설정 문의 (9) 2013-07 7583 1 이원재K
25180	SuperMicro X5DA8 MSD 메인보드에 대한 궁금증.. (8)	김기범	2004-07	7584	3
SuperMicro X5DA8 MSD 메인보드에 대한 궁… (8) 2004-07 7584 1 김기범
25179	써멀라이트 울트라 익스트림 120브라켓을 찾습니다 (1)	로그아웃	2011-03	7584	0
써멀라이트 울트라 익스트림 120브라켓을 … (1) 2011-03 7584 1 로그아웃
25178	[수정] 분기당 5,000 달러 이상 해외 사용시 국세청(? 관세청?) 에 자동통보 되는 법… (13)	천외천oo노…	2014-10	7584	0
[수정] 분기당 5,000 달러 이상 해외 사용… (13) 2014-10 7584 1 천외천oo노…
25177	64비트 원도우 2003 스탠다드 설치 및 사용 참고 (6)	이문흠	2006-05	7584	38
64비트 원도우 2003 스탠다드 설치 및 사… (6) 2006-05 7584 1 이문흠
25176	얼마전 질문올렸던 메인보드의 MSG LED동작여부에 대해서... (2)	김건우	2015-02	7584	0
얼마전 질문올렸던 메인보드의 MSG LED동… (2) 2015-02 7584 1 김건우
25175	..3개월이 지나도 회원등업이 안되는 이유는? (9)	황혜진	2006-05	7584	317
..3개월이 지나도 회원등업이 안되는 이유… (9) 2006-05 7584 1 황혜진
25174	[문의글 추가]캠코더(8미리) 영상 저장방법 문의 드립니다. (10)	원주멋진덩치	2011-04	7584	0
[문의글 추가]캠코더(8미리) 영상 저장방… (10) 2011-04 7584 1 원주멋진덩치
25173	엠트론 서버용 SSD 64기가짜리가 있는데 OS에 쓰는게 괜찮을까요? (2)	블랙	2011-04	7585	0
엠트론 서버용 SSD 64기가짜리가 있는데 O… (2) 2011-04 7585 1 블랙