robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7570 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4441/5703

번호	제목Page 4441/5703	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5117758	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5117758 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1653271	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1653271 1 백메가
25242	워크스테이션 렌탈 할수 있는곳 아시는분 계신가요?	송승화	2013-08	7556	0
워크스테이션 렌탈 할수 있는곳 아시는분 … 2013-08 7556 1 송승화
25241	catia질문2 (3)	김대평	2004-10	7556	5
catia질문2 (3) 2004-10 7556 1 김대평
25240	유니텍6321보드의 ...CNR슬롯을 사용해보고 싶습니다. (1)	김건우	2004-04	7556	39
유니텍6321보드의 ...CNR슬롯을 사용해보… (1) 2004-04 7556 1 김건우
25239	SOH BAD가 뭔지요? (2)	블루영상	2011-09	7556	0
SOH BAD가 뭔지요? (2) 2011-09 7556 1 블루영상
25238	SSD를 파티션 나누어 사용할경우 문제가 있나요? (11)	매쓰TM	2014-02	7556	0
SSD를 파티션 나누어 사용할경우 문제가 … (11) 2014-02 7556 1 매쓰TM
25237	올인원 데스크탑의 램 업그래이드	차진	2010-04	7556	0
올인원 데스크탑의 램 업그래이드 2010-04 7556 1 차진
25236	하드디스크 PCB 기판을 교체하려고 합니다. (4)	즐꿈	2015-11	7556	0
하드디스크 PCB 기판을 교체하려고 합니다. (4) 2015-11 7556 1 즐꿈
25235	[블루레이 이미지] 를 만들려면... (2)	나너우리	2011-04	7556	0
[블루레이 이미지] 를 만들려면... (2) 2011-04 7556 1 나너우리
25234	스토리지 업체에서 1TB SATA HDD를 천만원씩 받나요? (10)	이선호	2012-10	7557	0
스토리지 업체에서 1TB SATA HDD를 천만원… (10) 2012-10 7557 1 이선호
25233	이베이에서 사람들이 많이 구매한(인기 있는) 제품이 먼저 나오게 정렬하는 방법이 … (2)	승훈	2013-10	7557	0
이베이에서 사람들이 많이 구매한(인기 있… (2) 2013-10 7557 1 승훈
25232	조립견적 을 내는 중에.... 도움을 요청 합니다.. (5)	김정도15	2010-05	7557	0
조립견적 을 내는 중에.... 도움을 요청 … (5) 2010-05 7557 1 김정도15
25231	방화벽에서 막아놓은 포트로 해킹시도가 발생하는건.. (2)	슬픈잎새	2011-06	7557	0
방화벽에서 막아놓은 포트로 해킹시도가 … (2) 2011-06 7557 1 슬픈잎새
25230	uefi 64비트 윈도우7 + 레드햇 리눅스 64비트 듀얼부팅 문제 (1)	겨울나무	2015-03	7557	0
uefi 64비트 윈도우7 + 레드햇 리눅스 64… (1) 2015-03 7557 1 겨울나무
25229	U160 Card를 M/B 32bit PCI에 설치했을때? (2)	김충환	2004-08	7558	6
U160 Card를 M/B 32bit PCI에 설치했을때? (2) 2004-08 7558 1 김충환
25228	G41-M01S1보드, 771소켓 Xeon 사용을 위한 개조 바이오스 문의(2) (5)	슈어스	2015-04	7558	0
G41-M01S1보드, 771소켓 Xeon 사용을 위한… (5) 2015-04 7558 1 슈어스
25227	HP SAS 백플레인으로 DIY중 전원부 관련 도와주세요~ (1)	유승욱	2011-07	7558	0
HP SAS 백플레인으로 DIY중 전원부 관련 … (1) 2011-07 7558 1 유승욱
25226	그래픽 카드 뭐가 낳을까요?? (8)	유사용	2004-12	7558	8
그래픽 카드 뭐가 낳을까요?? (8) 2004-12 7558 1 유사용
25225	이런 케이블 구할수 있을까요? (7)	장동건2014	2013-07	7558	0
이런 케이블 구할수 있을까요? (7) 2013-07 7558 1 장동건2014
25224	815epd 보드에 지원 가능한 hdd 는? (12)	조영민	2004-12	7558	10
815epd 보드에 지원 가능한 hdd 는? (12) 2004-12 7558 1 조영민
25223	Opteron은 어디로??? (19)	GoodWolf	2010-02	7558	0
Opteron은 어디로??? (19) 2010-02 7558 1 GoodWolf