robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7488 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3819/5686

번호	제목Page 3819/5686	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1508824	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1508824 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4972520	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4972520 1 정은준1
37343	iDRAC을 일반 PC에서 사용할 수 있을까요? (17)	통신보안	2018-11	5355	0
iDRAC을 일반 PC에서 사용할 수 있을까요? (17) 2018-11 5355 1 통신보안
37342	네트워크 연결 여쭤봅니다 (4)	츄미아	2021-04	3049	0
네트워크 연결 여쭤봅니다 (4) 2021-04 3049 1 츄미아
37341	DELL R310 3테라바이트 HDD인식 문제. (6)	엠브리오	2015-07	6130	0
DELL R310 3테라바이트 HDD인식 문제. (6) 2015-07 6130 1 엠브리오
37340	Adaptec RAID 5805 를 P35 보드에 장착을 해도 이상 없이 동작 할까요? (6)	유사용	2008-08	4900	16
Adaptec RAID 5805 를 P35 보드에 장착을 … (6) 2008-08 4900 1 유사용
37339	이런 질문 해도 될런지..? (2)	이대우	2002-11	11424	76
이런 질문 해도 될런지..? (2) 2002-11 11424 1 이대우
37338	하드디스크 정보 보는법 질문입니다. (1)	힘내자	2012-01	8757	0
하드디스크 정보 보는법 질문입니다. (1) 2012-01 8757 1 힘내자
37337	10G 스토리지 서버 만들기? (10)	정용우	2014-03	8229	0
10G 스토리지 서버 만들기? (10) 2014-03 8229 1 정용우
37336	Intel I7-870 CPU 아직 쓸만한가요? (18)	NeOpLE	2016-08	8273	0
Intel I7-870 CPU 아직 쓸만한가요? (18) 2016-08 8273 1 NeOpLE
37335	램슬롯이 비어있어도 에러가 날 수 있는지요? (5)	이광호	2005-08	6461	5
램슬롯이 비어있어도 에러가 날 수 있는지… (5) 2005-08 6461 1 이광호
37334	WIFI연결시 '사용자 이름' 이건 대체 뭘까요 (4)	김영기	2015-07	14249	0
WIFI연결시 '사용자 이름' 이건 대체 뭘까요 (4) 2015-07 14249 1 김영기
37333	파워 잔여 수명을 확인할수 있는 방법이 있을까요? (12)	언젠가는	2021-04	6286	0
파워 잔여 수명을 확인할수 있는 방법이 … (12) 2021-04 6286 1 언젠가는
37332	어떤 VGA가 적합할런가요 추천 부탁드립니다.	방o효o문	2012-01	5242	0
어떤 VGA가 적합할런가요 추천 부탁드립니… 2012-01 5242 1 방o효o문
37331	기기등록에 실패하였습니다... (4)	리장님	2020-01	2232	0
기기등록에 실패하였습니다... (4) 2020-01 2232 1 리장님
37330	서버 ㅈ전력 저소음문의 (8)	와우컴	2012-02	6247	0
서버 ㅈ전력 저소음문의 (8) 2012-02 6247 1 와우컴
37329	선반질문 다시 끌어올립니다. (4)	방o효o문	2014-03	3095	0
선반질문 다시 끌어올립니다. (4) 2014-03 3095 1 방o효o문
37328	AD보드 케이블 구입경로 좀 알고 싶습니다. (4)	박상범	2012-02	6296	0
AD보드 케이블 구입경로 좀 알고 싶습니다. (4) 2012-02 6296 1 박상범
37327	안드로이드용 e-mail client 쓸만한 것이 있을까요? (2)	카프카	2014-03	3668	0
안드로이드용 e-mail client 쓸만한 것이 … (2) 2014-03 3668 1 카프카
37326	h730p 컨트롤러에 ssd 24개 레이드10 속도 문의 (1)	간장게장	2022-12	1217	0
h730p 컨트롤러에 ssd 24개 레이드10 속도… (1) 2022-12 1217 1 간장게장
37325	Disk I/O 측정하는 방법??? (2)	날개	2015-07	7167	0
Disk I/O 측정하는 방법??? (2) 2015-07 7167 1 날개
37324	GA-6VXDC7 보드의 유틸리티.. (2)	정회정	2002-12	11638	81
GA-6VXDC7 보드의 유틸리티.. (2) 2002-12 11638 1 정회정