robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7588 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4449/5707

번호	제목Page 4449/5707	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1671927	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1671927 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5137164	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5137164 1 정은준1
25177	엠트론 서버용 SSD 64기가짜리가 있는데 OS에 쓰는게 괜찮을까요? (2)	블랙	2011-04	7588	0
엠트론 서버용 SSD 64기가짜리가 있는데 O… (2) 2011-04 7588 1 블랙
25176	[문의글 추가]캠코더(8미리) 영상 저장방법 문의 드립니다. (10)	원주멋진덩치	2011-04	7588	0
[문의글 추가]캠코더(8미리) 영상 저장방… (10) 2011-04 7588 1 원주멋진덩치
25175	슈퍼마이크로 X8DTL-i Adaptec RAID1 속도저하와 여러가지 문제 (4)	카프카	2013-06	7588	0
슈퍼마이크로 X8DTL-i Adaptec RAID1 속도… (4) 2013-06 7588 1 카프카
25174	Iwill mpx2에서 cpu 1개만 인식 됩니다. (2)	김광주	2004-11	7588	2
Iwill mpx2에서 cpu 1개만 인식 됩니다. (2) 2004-11 7588 1 김광주
25173	에너맥스 교체용 케이블 구할 수 있는 곳 아시나요? (2)	양창권	2010-11	7589	0
에너맥스 교체용 케이블 구할 수 있는 곳 … (2) 2010-11 7589 1 양창권
25172	ML150 G2 문의 드립니다. (2)	overtrue	2009-12	7589	0
ML150 G2 문의 드립니다. (2) 2009-12 7589 1 overtrue
25171	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7589	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7589 1 무아
25170	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7589	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7589 1 최용석
25169	구형 연결잭이 달린 키보드를 구입할곳이 없나요? (4)	추상화	2005-03	7590	46
구형 연결잭이 달린 키보드를 구입할곳이 … (4) 2005-03 7590 1 추상화
25168	노트북용 메모리 브랜드 타나요? (5)	Murphys	2009-03	7590	0
노트북용 메모리 브랜드 타나요? (5) 2009-03 7590 1 Murphys
25167	차량용 밧데리문의 (6)	윤치열	2012-02	7590	0
차량용 밧데리문의 (6) 2012-02 7590 1 윤치열
25166	29160에 후지쯔 15k 두개 사용시 성능하락? (4)	정은수	2006-07	7590	19
29160에 후지쯔 15k 두개 사용시 성능하락? (4) 2006-07 7590 1 정은수
25165	카세트 테이프를 mp3 로 변환하는 장비가 있나요? (5)	정은준	2006-12	7590	20
카세트 테이프를 mp3 로 변환하는 장비가 … (5) 2006-12 7590 1 정은준
25164	RMA 문의 입니다. (1)	최일섭	2006-09	7590	18
RMA 문의 입니다. (1) 2006-09 7590 1 최일섭
25163	갑자기 생각난 어처구니 없는 질문입니다만.... (3)	오재호	2004-06	7591	12
갑자기 생각난 어처구니 없는 질문입니다… (3) 2004-06 7591 1 오재호
25162	파일리스트에서 폴더명만 추출하려면 어떻게 해야 할가요 ? (14)	삐돌이슬픔이	2018-02	7591	0
파일리스트에서 폴더명만 추출하려면 어떻… (14) 2018-02 7591 1 삐돌이슬픔이
25161	헉! 시디가 폭팔 할 수 도 있나요? (10)	이영선	2004-06	7591	8
헉! 시디가 폭팔 할 수 도 있나요? (10) 2004-06 7591 1 이영선
25160	X25-V SSD 40G X 2 vs 500G SATA X 2 (5)	신정욱	2010-07	7591	0
X25-V SSD 40G X 2 vs 500G SATA X 2 (5) 2010-07 7591 1 신정욱
25159	미니 SATA ? 마이크로 SATA ? (5)	Hermes	2011-12	7591	0
미니 SATA ? 마이크로 SATA ? (5) 2011-12 7591 1 Hermes
25158	시게이트 RMA질문입니다. (3)	최원식	2006-12	7591	15
시게이트 RMA질문입니다. (3) 2006-12 7591 1 최원식