robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7513 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1258/5691

번호	제목Page 1258/5691	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1552750	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1552750 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	5017353	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 5017353 1 정은준1
88678	catia질문2 (3)	김대평	2004-10	7514	5
catia질문2 (3) 2004-10 7514 1 김대평
88677	RAID10 구성 방식인데 무슨 차이가 있나요? (15)	행아범	2012-11	7514	0
RAID10 구성 방식인데 무슨 차이가 있나요? (15) 2012-11 7514 1 행아범
88676	DELL OEM PM830 256G SSD 펌웨어 업그레이드 방법 없나요? (2)	김재헌	2012-04	7514	0
DELL OEM PM830 256G SSD 펌웨어 업그레이… (2) 2012-04 7514 1 김재헌
88675	CPU 성능 비교(셈프론 2600+ vs. 투알라틴 1.13) (7)	박경호	2005-11	7514	37
CPU 성능 비교(셈프론 2600+ vs. 투알라틴… (7) 2005-11 7514 1 박경호
88674	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7514	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7514 1 김명욱
88673	유니텍6321보드의 ...CNR슬롯을 사용해보고 싶습니다. (1)	김건우	2004-04	7514	39
유니텍6321보드의 ...CNR슬롯을 사용해보… (1) 2004-04 7514 1 김건우
88672	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7514	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7514 1 무아
88671	윈도우10 레이드1 구성과 저가 SATA 레이드 카드 사용 중 어떤게 안전할까요? (16)	IRIX6530	2019-04	7514	0
윈도우10 레이드1 구성과 저가 SATA 레이… (16) 2019-04 7514 1 IRIX6530
88670	기가비트 속도로 내부 전송이 가능한 구성도인지 확인 부탁 드립니다. (5)	landwolf	2011-07	7514	0
기가비트 속도로 내부 전송이 가능한 구성… (5) 2011-07 7514 1 landwolf
88669	라벨 프린터 프로그램 제작 문의 (6)	풍경1	2014-12	7514	0
라벨 프린터 프로그램 제작 문의 (6) 2014-12 7514 1 풍경1
88668	윈도xp에 붙어 있는 프린터를 윈도98에서 공유하는거 해결했습니다... (4)	정재훈	2004-02	7514	54
윈도xp에 붙어 있는 프린터를 윈도98에서 … (4) 2004-02 7514 1 정재훈
88667	미니 SATA ? 마이크로 SATA ? (5)	Hermes	2011-12	7514	0
미니 SATA ? 마이크로 SATA ? (5) 2011-12 7514 1 Hermes
88666	이럴땐 어디로 as보내야 하나요? (3)	분당김동수	2013-11	7513	0
이럴땐 어디로 as보내야 하나요? (3) 2013-11 7513 1 분당김동수
88665	쿼드로 G-Sync 설치 해보신분 계신가요?; (3)	우앙뿌앙	2011-09	7513	0
쿼드로 G-Sync 설치 해보신분 계신가요?; (3) 2011-09 7513 1 우앙뿌앙
88664	차량용 밧데리문의 (6)	윤치열	2012-02	7513	0
차량용 밧데리문의 (6) 2012-02 7513 1 윤치열
88663	2.5인치 sas하드 질문드립니다. (11)	윤남수	2008-05	7513	21
2.5인치 sas하드 질문드립니다. (11) 2008-05 7513 1 윤남수
88662	Opteron은 어디로??? (19)	GoodWolf	2010-02	7513	0
Opteron은 어디로??? (19) 2010-02 7513 1 GoodWolf
88661	hp 관계자분께 질문!!! 요즘 나오는 스마트 메모린 뭐가 달라요? (2)	김황중	2014-06	7513	0
hp 관계자분께 질문!!! 요즘 나오는 스마… (2) 2014-06 7513 1 김황중
88660	컴퓨터 부팅시 윈도우 로고가 나타나자 마자 프리징이 일어 납니다. (18)	원주멋진덩치	2017-09	7512	0
컴퓨터 부팅시 윈도우 로고가 나타나자 마… (18) 2017-09 7512 1 원주멋진덩치
88659	i7-3770 에 아주 좋은 보드 칩셋이나 메인보드 추천부탁드립니다. (6)	김유중	2015-12	7512	0
i7-3770 에 아주 좋은 보드 칩셋이나 메인… (6) 2015-12 7512 1 김유중