robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7590 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4449/5707

번호	제목Page 4449/5707	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1672096	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1672096 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5137326	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5137326 1 정은준1
25177	에너맥스 교체용 케이블 구할 수 있는 곳 아시나요? (2)	양창권	2010-11	7589	0
에너맥스 교체용 케이블 구할 수 있는 곳 … (2) 2010-11 7589 1 양창권
25176	SuperMicro X5DA8 MSD 메인보드에 대한 궁금증.. (8)	김기범	2004-07	7589	3
SuperMicro X5DA8 MSD 메인보드에 대한 궁… (8) 2004-07 7589 1 김기범
25175	ML150 G2 문의 드립니다. (2)	overtrue	2009-12	7589	0
ML150 G2 문의 드립니다. (2) 2009-12 7589 1 overtrue
25174	[문의글 추가]캠코더(8미리) 영상 저장방법 문의 드립니다. (10)	원주멋진덩치	2011-04	7589	0
[문의글 추가]캠코더(8미리) 영상 저장방… (10) 2011-04 7589 1 원주멋진덩치
25173	Iwill mpx2에서 cpu 1개만 인식 됩니다. (2)	김광주	2004-11	7589	2
Iwill mpx2에서 cpu 1개만 인식 됩니다. (2) 2004-11 7589 1 김광주
25172	구형 연결잭이 달린 키보드를 구입할곳이 없나요? (4)	추상화	2005-03	7590	46
구형 연결잭이 달린 키보드를 구입할곳이 … (4) 2005-03 7590 1 추상화
25171	29160에 후지쯔 15k 두개 사용시 성능하락? (4)	정은수	2006-07	7590	19
29160에 후지쯔 15k 두개 사용시 성능하락? (4) 2006-07 7590 1 정은수
25170	카세트 테이프를 mp3 로 변환하는 장비가 있나요? (5)	정은준	2006-12	7590	20
카세트 테이프를 mp3 로 변환하는 장비가 … (5) 2006-12 7590 1 정은준
25169	하드디스크 PCB 기판을 교체하려고 합니다. (4)	즐꿈	2015-11	7590	0
하드디스크 PCB 기판을 교체하려고 합니다. (4) 2015-11 7590 1 즐꿈
25168	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7590	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7590 1 최용석
25167	노트북용 메모리 브랜드 타나요? (5)	Murphys	2009-03	7591	0
노트북용 메모리 브랜드 타나요? (5) 2009-03 7591 1 Murphys
25166	파일리스트에서 폴더명만 추출하려면 어떻게 해야 할가요 ? (14)	삐돌이슬픔이	2018-02	7591	0
파일리스트에서 폴더명만 추출하려면 어떻… (14) 2018-02 7591 1 삐돌이슬픔이
25165	헉! 시디가 폭팔 할 수 도 있나요? (10)	이영선	2004-06	7591	8
헉! 시디가 폭팔 할 수 도 있나요? (10) 2004-06 7591 1 이영선
25164	차량용 밧데리문의 (6)	윤치열	2012-02	7591	0
차량용 밧데리문의 (6) 2012-02 7591 1 윤치열
25163	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7591	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7591 1 무아
25162	X25-V SSD 40G X 2 vs 500G SATA X 2 (5)	신정욱	2010-07	7591	0
X25-V SSD 40G X 2 vs 500G SATA X 2 (5) 2010-07 7591 1 신정욱
25161	미니 SATA ? 마이크로 SATA ? (5)	Hermes	2011-12	7591	0
미니 SATA ? 마이크로 SATA ? (5) 2011-12 7591 1 Hermes
25160	RMA 문의 입니다. (1)	최일섭	2006-09	7591	18
RMA 문의 입니다. (1) 2006-09 7591 1 최일섭
25159	갑자기 생각난 어처구니 없는 질문입니다만.... (3)	오재호	2004-06	7592	12
갑자기 생각난 어처구니 없는 질문입니다… (3) 2004-06 7592 1 오재호
25158	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7592	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7592 1 김명욱