robots.txt 와 meta 테그를 사용한 봇 접근 제한

중고장터 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7477 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3816/5682

번호	제목Page 3816/5682	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1489814	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1489814 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4953317	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4953317 1 정은준1
37336	하드디스크 에러 질문입니다 (1)	ging	2009-08	6110	0
하드디스크 에러 질문입니다 (1) 2009-08 6110 1 ging
37335	데이터 복구 업체 추천 부탁드립니다. (파티션 날아감) (9)	소현준	2006-06	6110	17
데이터 복구 업체 추천 부탁드립니다. (파… (9) 2006-06 6110 1 소현준
37334	NUC 온도센서 고장일까요? (1)	읍내노는오빠	2016-10	6110	0
NUC 온도센서 고장일까요? (1) 2016-10 6110 1 읍내노는오빠
37333	메모리 채널에 대해서 질문있습니다. (3)	우루리루	2016-02	6110	0
메모리 채널에 대해서 질문있습니다. (3) 2016-02 6110 1 우루리루
37332	내장 그래픽 사용시 시스템 속도나 발열, 전력소비 (2)	서정욱	2008-12	6110	3
내장 그래픽 사용시 시스템 속도나 발열, … (2) 2008-12 6110 1 서정욱
37331	[질문] 노트북 전체 백업을 하려면 ? (3)	박문형	2008-02	6110	2
[질문] 노트북 전체 백업을 하려면 ? (3) 2008-02 6110 1 박문형
37330	CPU 냉각에 대한 조언 구합니다.(771소켓) (2)	이보현	2009-02	6110	0
CPU 냉각에 대한 조언 구합니다.(771소켓) (2) 2009-02 6110 1 이보현
37329	다들 듀얼모니터 어떤 해상도로 사용하시나요? (14)	osthek83	2023-01	6110	0
다들 듀얼모니터 어떤 해상도로 사용하시… (14) 2023-01 6110 1 osthek83
37328	안랩 장비 바이오스 패스워드 문의 (4)	경박한시민	2015-07	6110	0
안랩 장비 바이오스 패스워드 문의 (4) 2015-07 6110 1 경박한시민
37327	통신사UTM vs 보안업체UTM 차이가 궁금합니다!! (17)	인호	2016-03	6111	0
통신사UTM vs 보안업체UTM 차이가 궁금합… (17) 2016-03 6111 1 인호
37326	dell poweredge T320 파워좀 저렴하게 업그레이드 시키는법 없나요? (3)	QS왕통키손…	2013-07	6111	0
dell poweredge T320 파워좀 저렴하게 업… (3) 2013-07 6111 1 QS왕통키손…
37325	Intel Arrandale System용 mobile chipset 5 시리즈 구할곳 있는지요? (2)	이인	2009-09	6111	0
Intel Arrandale System용 mobile chipset… (2) 2009-09 6111 1 이인
37324	서버의 파워선을 한개 꼽을때와 두개 이상 꼽을때의 전력소모량이 궁금합니다. (12)	코쿠	2020-02	6111	0
서버의 파워선을 한개 꼽을때와 두개 이상… (12) 2020-02 6111 1 코쿠
37323	MS Office 2007 한국어 언어팩을 구할수 있을까요? (3)	치포로	2020-10	6111	0
MS Office 2007 한국어 언어팩을 구할수 … (3) 2020-10 6111 1 치포로
37322	이벤트로그에서의 하드 오류를 질문드립니다. (5)	김경락	2005-09	6111	23
이벤트로그에서의 하드 오류를 질문드립니… (5) 2005-09 6111 1 김경락
37321	하이퍼 링크 만들어주세요 (2)	미수맨	2009-08	6112	0
하이퍼 링크 만들어주세요 (2) 2009-08 6112 1 미수맨
37320	3D-max 용 컴퓨터 사양질문 (5)	하태훈	2016-12	6112	1
3D-max 용 컴퓨터 사양질문 (5) 2016-12 6112 1 하태훈
37319	y형 커플러 이용해 랜카드1개에 2개 랜선 연결하면 인터넷 되나요?? (5)	비누귀신	2020-04	6112	0
y형 커플러 이용해 랜카드1개에 2개 랜선 … (5) 2020-04 6112 1 비누귀신
37318	MRTG등의 시스템 모니터링 툴 추천부탁드려요 (윈도우용) (3)	김석권	2008-02	6112	9
MRTG등의 시스템 모니터링 툴 추천부탁드… (3) 2008-02 6112 1 김석권
37317	쿨러 소음을 줄이기 위한 방법좀 없을까요? (11)	이승현	2005-05	6112	7
쿨러 소음을 줄이기 위한 방법좀 없을까요? (11) 2005-05 6112 1 이승현