robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7580 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1260/5707

번호	제목Page 1260/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5133860	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5133860 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1668877	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1668877 1 백메가
88942	SAS 2.5인치 를 컨버터를 써서 3.5로 연결할때 성능저하 있을까요? (5)	블랙	2011-03	7583	0
SAS 2.5인치 를 컨버터를 써서 3.5로 연결… (5) 2011-03 7583 1 블랙
88941	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7583	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7583 1 최용석
88940	1u서버 택배가능한가요? (23)	Lucyed	2016-05	7582	0
1u서버 택배가능한가요? (23) 2016-05 7582 1 Lucyed
88939	엠트론 서버용 SSD 64기가짜리가 있는데 OS에 쓰는게 괜찮을까요? (2)	블랙	2011-04	7582	0
엠트론 서버용 SSD 64기가짜리가 있는데 O… (2) 2011-04 7582 1 블랙
88938	SuperMicro X5DA8 MSD 메인보드에 대한 궁금증.. (8)	김기범	2004-07	7582	3
SuperMicro X5DA8 MSD 메인보드에 대한 궁… (8) 2004-07 7582 1 김기범
88937	[수정] 분기당 5,000 달러 이상 해외 사용시 국세청(? 관세청?) 에 자동통보 되는 법… (13)	천외천oo노…	2014-10	7582	0
[수정] 분기당 5,000 달러 이상 해외 사용… (13) 2014-10 7582 1 천외천oo노…
88936	투알과 제온의 차이를 알고 싶습니다 (4)	유용수	2004-07	7582	11
투알과 제온의 차이를 알고 싶습니다 (4) 2004-07 7582 1 유용수
88935	[문의글 추가]캠코더(8미리) 영상 저장방법 문의 드립니다. (10)	원주멋진덩치	2011-04	7582	0
[문의글 추가]캠코더(8미리) 영상 저장방… (10) 2011-04 7582 1 원주멋진덩치
88934	유지비 저렴한 프린터 추천 해주세요. (6)	최마루	2009-03	7582	0
유지비 저렴한 프린터 추천 해주세요. (6) 2009-03 7582 1 최마루
88933	Iwill mpx2에서 cpu 1개만 인식 됩니다. (2)	김광주	2004-11	7582	2
Iwill mpx2에서 cpu 1개만 인식 됩니다. (2) 2004-11 7582 1 김광주
88932	X25-V SSD 40G X 2 vs 500G SATA X 2 (5)	신정욱	2010-07	7582	0
X25-V SSD 40G X 2 vs 500G SATA X 2 (5) 2010-07 7582 1 신정욱
88931	멀티 태스킹에 4MB 캐쉬도 모자라나요? (6)	마이코코	2011-08	7581	0
멀티 태스킹에 4MB 캐쉬도 모자라나요? (6) 2011-08 7581 1 마이코코
88930	[Hyper-V] IP설정 문의 (9)	이원재K	2013-07	7581	0
[Hyper-V] IP설정 문의 (9) 2013-07 7581 1 이원재K
88929	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7581	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7581 1 무아
88928	에너맥스 교체용 케이블 구할 수 있는 곳 아시나요? (2)	양창권	2010-11	7580	0
에너맥스 교체용 케이블 구할 수 있는 곳 … (2) 2010-11 7580 1 양창권
88927	용접에 대해서 잘 아시는 분 계신가요? (6)	신은왜	2020-11	7580	0
용접에 대해서 잘 아시는 분 계신가요? (6) 2020-11 7580 1 신은왜
88926	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7580	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7580 1 김명욱
88925	..3개월이 지나도 회원등업이 안되는 이유는? (9)	황혜진	2006-05	7580	317
..3개월이 지나도 회원등업이 안되는 이유… (9) 2006-05 7580 1 황혜진
88924	_ 썬 코발트서버 RaQ 4에 대한 어떠한 조언도 감사드립니다 _ (2)	이영선	2004-06	7580	47
_ 썬 코발트서버 RaQ 4에 대한 어떠한 조… (2) 2004-06 7580 1 이영선
88923	iptime 유무선 공유개 두대사용 (14)	2CPU최주희	2014-01	7580	0
iptime 유무선 공유개 두대사용 (14) 2014-01 7580 1 2CPU최주희