robots.txt 와 meta 테그를 사용한 봇 접근 제한

QnA more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7610 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1257/5710

번호	제목Page 1257/5710	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1693073	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1693073 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5158821	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5158821 1 정은준1
89070	그래픽 카드 추천 부탁드립니다. (6)	김철환	2004-07	7618	4
그래픽 카드 추천 부탁드립니다. (6) 2004-07 7618 1 김철환
89069	NAS 관련하여 문의 드립니다. (5)	김태성	2011-12	7617	0
NAS 관련하여 문의 드립니다. (5) 2011-12 7617 1 김태성
89068	Matrox G550 제조일 확인 어떻게 할 수 있는지요? (1)	이춘근	2004-06	7617	50
Matrox G550 제조일 확인 어떻게 할 수 있… (1) 2004-06 7617 1 이춘근
89067	파란색 인주 파는 곳 아시나요? (4)	서울김창희	2014-06	7617	0
파란색 인주 파는 곳 아시나요? (4) 2014-06 7617 1 서울김창희
89066	scsi 2ch 짜리 카드에서 2ch 모두를 RAID로 묶으려면??? (8)	GoodWolf	2010-03	7617	0
scsi 2ch 짜리 카드에서 2ch 모두를 RAID… (8) 2010-03 7617 1 GoodWolf
89065	유지비 저렴한 프린터 추천 해주세요. (6)	최마루	2009-03	7617	0
유지비 저렴한 프린터 추천 해주세요. (6) 2009-03 7617 1 최마루
89064	i7-3770 에 아주 좋은 보드 칩셋이나 메인보드 추천부탁드립니다. (6)	김유중	2015-12	7616	0
i7-3770 에 아주 좋은 보드 칩셋이나 메인… (6) 2015-12 7616 1 김유중
89063	2008서버에서 IIS7(FTP7)셋팅질문 (10)	김홍길	2008-07	7616	16
2008서버에서 IIS7(FTP7)셋팅질문 (10) 2008-07 7616 1 김홍길
89062	slc 와 mlc 의 write 회수. (2)	권순규	2010-07	7616	0
slc 와 mlc 의 write 회수. (2) 2010-07 7616 1 권순규
89061	케이스의 철판을 자르는 방법에 대해 문의드리고 싶습니다. (4)	도동우	2007-07	7616	7
케이스의 철판을 자르는 방법에 대해 문의… (4) 2007-07 7616 1 도동우
89060	올레닥터 서비스 종료라는데 이젠 뭘 써야할지 추천 부탁합니다. (13)	애니악	2017-02	7616	0
올레닥터 서비스 종료라는데 이젠 뭘 써야… (13) 2017-02 7616 1 애니악
89059	차량용 냉장고 시원해지나요 ? (21)	화란	2019-07	7616	0
차량용 냉장고 시원해지나요 ? (21) 2019-07 7616 1 화란
89058	인터넷 공유기에 대한 질문입니다. (9)	나강문	2004-08	7615	33
인터넷 공유기에 대한 질문입니다. (9) 2004-08 7615 1 나강문
89057	e5450 개조 후 부팅문제 사진추가했습니다 (2)	안뇽안	2015-02	7615	0
e5450 개조 후 부팅문제 사진추가했습니다 (2) 2015-02 7615 1 안뇽안
89056	DELL OEM PM830 256G SSD 펌웨어 업그레이드 방법 없나요? (2)	김재헌	2012-04	7615	0
DELL OEM PM830 256G SSD 펌웨어 업그레이… (2) 2012-04 7615 1 김재헌
89055	USB전원 -> 일반 전원케이블로 바꿔주는 젠더 없을까요? (7)	정현구	2006-06	7615	14
USB전원 -> 일반 전원케이블로 바꿔주… (7) 2006-06 7615 1 정현구
89054	iptime 유무선 공유개 두대사용 (14)	2CPU최주희	2014-01	7615	0
iptime 유무선 공유개 두대사용 (14) 2014-01 7615 1 2CPU최주희
89053	불법으로 사용하고 있다는 내용증명이 왔는데. (5)	이해하면오…	2009-11	7615	0
불법으로 사용하고 있다는 내용증명이 왔… (5) 2009-11 7615 1 이해하면오…
89052	sli기능 지원하는 메인보드 있나요? (1)	막강	2010-11	7615	0
sli기능 지원하는 메인보드 있나요? (1) 2010-11 7615 1 막강
89051	ASUS P4p 800SE 보드 온보드사운드와 CMOS 화면시 다운 문제입니다. (1)	김준건	2006-09	7615	17
ASUS P4p 800SE 보드 온보드사운드와 CMOS… (1) 2006-09 7615 1 김준건