robots.txt 와 meta 테그를 사용한 봇 접근 제한

BMT more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7647 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3862/5729

번호	제목Page 3862/5729	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1784414	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1784414 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5259629	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5259629 1 정은준1
37346	10명 내외가 사용하는 사무용 서버 구축 스펙으로 어떤가요 (4)	냐아아아암	2016-03	5368	0
10명 내외가 사용하는 사무용 서버 구축 … (4) 2016-03 5368 1 냐아아아암
37345	레이드5 디스크 교체 질문 (8)	서미	2017-02	5510	0
레이드5 디스크 교체 질문 (8) 2017-02 5510 1 서미
37344	랜카드 teaming 성능 질문입니다. (4)	송상병	2007-01	5744	17
랜카드 teaming 성능 질문입니다. (4) 2007-01 5744 1 송상병
37343	wowdns 쓰시는분? (1)	서울I김동수	2010-09	8791	0
wowdns 쓰시는분? (1) 2010-09 8791 1 서울I김동수
37342	KT 기가인터넷 분배 문의입니다. (6)	EPKO	2017-02	5916	0
KT 기가인터넷 분배 문의입니다. (6) 2017-02 5916 1 EPKO
37341	특정PC에서만 윈도우 네트워크 파일전송이 너무 느립니다. (4)	박중석	2013-08	13144	0
특정PC에서만 윈도우 네트워크 파일전송이… (4) 2013-08 13144 1 박중석
37340	마이그레이션 관련 질문 (6)	김도형	2016-03	4376	0
마이그레이션 관련 질문 (6) 2016-03 4376 1 김도형
37339	그레픽카드... (1)	윤호용	2004-05	7998	5
그레픽카드... (1) 2004-05 7998 1 윤호용
37338	usi slot soket만들어 주실분이 용산에 계실지요? (2)	송진현	2014-12	4310	0
usi slot soket만들어 주실분이 용산에 … (2) 2014-12 4310 1 송진현
37337	Win_7에서 네트워크 구성.., (6)	아름다운노을	2010-10	8736	0
Win_7에서 네트워크 구성.., (6) 2010-10 8736 1 아름다운노을
37336	z9pa-d8 q-mode b7 (nvram configuration reset) 문제 (5)	투닭	2016-03	4780	0
z9pa-d8 q-mode b7 (nvram configuration … (5) 2016-03 4780 1 투닭
37335	블루스크린 - Machine_Check_Exception, dump of Physical Memory (5)	이제호	2007-03	5597	9
블루스크린 - Machine_Check_Exception, d… (5) 2007-03 5597 1 이제호
37334	리눅스(Cenos) 시스템에 하드만 빼서 다른시스템으로 구동이 가능할까요? (8)	제스퍼즈	2016-03	4560	0
리눅스(Cenos) 시스템에 하드만 빼서 다른… (8) 2016-03 4560 1 제스퍼즈
37333	CD/DVD 레코딩 프로그램은 어떤걸 쓰시나요? (5)	김우진	2007-03	5447	8
CD/DVD 레코딩 프로그램은 어떤걸 쓰시나… (5) 2007-03 5447 1 김우진
37332	MegaRAID Storage Manager 초기암호 질문드려봅니다. (5)	이사장	2010-11	11600	0
MegaRAID Storage Manager 초기암호 질문… (5) 2010-11 11600 1 이사장
37331	보쉬 직구하려는데 미국 12V 한국은 10.8 배터리 형태는 동일하네요 잘 아시는분 계… (4)	올빼미잠와	2017-03	4706	0
보쉬 직구하려는데 미국 12V 한국은 10.8 … (4) 2017-03 4706 1 올빼미잠와
37330	컴팩 435 노트북 fn키 드라이버 다온 어디서받나요?	우뭉	2022-03	1893	0
컴팩 435 노트북 fn키 드라이버 다온 어디… 2022-03 1893 1 우뭉
37329	메인 보드 I WILL MPX 가 몇 와트를 잡아 먹는지요?	오경	2004-07	8766	67
메인 보드 I WILL MPX 가 몇 와트를 잡아 … 2004-07 8766 1 오경
37328	230T A/S보냈더니 2505로 준다네요. (2)	한기하	2004-07	7761	5
230T A/S보냈더니 2505로 준다네요. (2) 2004-07 7761 1 한기하
37327	이럴땐 어떻게 해결해야 하나요?---포맷? (4)	김진용	2007-04	4567	4
이럴땐 어떻게 해결해야 하나요?---포맷? (4) 2007-04 4567 1 김진용