robots.txt 와 meta 테그를 사용한 봇 접근 제한

PDS more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7553 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4440/5698

번호	제목Page 4440/5698	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5095682	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5095682 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (231)	백메가	2015-12	1632466	25
(광고) 단통법 시대의 인터넷가입 가이드(… (231) 2015-12 1632466 1 백메가
25171	대구 사설 노트북 수리업체 추천 부탁드리겠습니다.	변규탁	2012-11	7553	0
대구 사설 노트북 수리업체 추천 부탁드리… 2012-11 7553 1 변규탁
25170	투알과 제온의 차이를 알고 싶습니다 (4)	유용수	2004-07	7553	11
투알과 제온의 차이를 알고 싶습니다 (4) 2004-07 7553 1 유용수
25169	vmware 가상화에 적합한 cpu나 시스템 추천좀해주세여~ (4)	푸이잉잉	2015-11	7553	0
vmware 가상화에 적합한 cpu나 시스템 추… (4) 2015-11 7553 1 푸이잉잉
25168	차량용 밧데리문의 (6)	윤치열	2012-02	7554	0
차량용 밧데리문의 (6) 2012-02 7554 1 윤치열
25167	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7554	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7554 1 무아
25166	RRAS를 통해 RDP 연결시 지연현상이 나타납니다. (2)	황혼을향해	2012-12	7554	0
RRAS를 통해 RDP 연결시 지연현상이 나타… (2) 2012-12 7554 1 황혼을향해
25165	맥용 백신 추천 부탁드립니다. (2)	MikroTik이진	2012-04	7555	0
맥용 백신 추천 부탁드립니다. (2) 2012-04 7555 1 MikroTik이진
25164	꼭 알고 싶은 물건이 있습니다 (4)	임시현	2004-06	7555	10
꼭 알고 싶은 물건이 있습니다 (4) 2004-06 7555 1 임시현
25163	29160에 후지쯔 15k 두개 사용시 성능하락? (4)	정은수	2006-07	7555	19
29160에 후지쯔 15k 두개 사용시 성능하락? (4) 2006-07 7555 1 정은수
25162	푸바2000을 사용합니다. DPI스케일링이 안됩니다. 도와주세요. (5)	이민우에요	2016-11	7555	0
푸바2000을 사용합니다. DPI스케일링이 안… (5) 2016-11 7555 1 이민우에요
25161	iptime 유무선 공유개 두대사용 (14)	2CPU최주희	2014-01	7555	0
iptime 유무선 공유개 두대사용 (14) 2014-01 7555 1 2CPU최주희
25160	아론키보드사가 망한 건가요? (3)	차평석	2009-11	7555	0
아론키보드사가 망한 건가요? (3) 2009-11 7555 1 차평석
25159	USB 3.0 전면 포트와 메인보드 연결. (2)	메뚜기가면맨	2019-10	7555	0
USB 3.0 전면 포트와 메인보드 연결. (2) 2019-10 7555 1 메뚜기가면맨
25158	EIZO FlexScan L568 블랙 그래픽용으로 괜찮을까요?	변기철	2004-12	7556	22
EIZO FlexScan L568 블랙 그래픽용으로 괜… 2004-12 7556 1 변기철
25157	SuperMicro X5DA8 MSD 메인보드에 대한 궁금증.. (8)	김기범	2004-07	7556	3
SuperMicro X5DA8 MSD 메인보드에 대한 궁… (8) 2004-07 7556 1 김기범
25156	무릎관절 치료관련 해서 경험 있으신 회원님들.. (6)	이갑부	2014-02	7556	0
무릎관절 치료관련 해서 경험 있으신 회원… (6) 2014-02 7556 1 이갑부
25155	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7556	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7556 1 김명욱
25154	Iwill mpx2에서 cpu 1개만 인식 됩니다. (2)	김광주	2004-11	7556	2
Iwill mpx2에서 cpu 1개만 인식 됩니다. (2) 2004-11 7556 1 김광주
25153	SAS 3000 series, 4-port with 1064E 데이터 손실 (3)	눈동자	2011-10	7557	0
SAS 3000 series, 4-port with 1064E 데… (3) 2011-10 7557 1 눈동자
25152	파일리스트에서 폴더명만 추출하려면 어떻게 해야 할가요 ? (14)	삐돌이슬픔이	2018-02	7557	0
파일리스트에서 폴더명만 추출하려면 어떻… (14) 2018-02 7557 1 삐돌이슬픔이