robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7208 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3731/5607

번호	제목Page 3731/5607	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1104813	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1104813 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (719)	정은준1	2014-05	4555519	0
[필독] 처음 오시는 분을 위한 안내 (719) 2014-05 4555519 1 정은준1
37529	쇼핑몰에서 파는 자동차 타이어 믿을만할까요? (6)	로그아웃	2011-06	6484	0
쇼핑몰에서 파는 자동차 타이어 믿을만할… (6) 2011-06 6484 1 로그아웃
37528	이제품 어떤가요 (4)	데이비드	2011-06	5786	0
이제품 어떤가요 (4) 2011-06 5786 1 데이비드
37527	외장하드에 쿨러를 달아주려고합니다. (9)	장동건2014	2011-06	6907	0
외장하드에 쿨러를 달아주려고합니다. (9) 2011-06 6907 1 장동건2014
37526	eSATA핫플러깅이 되지않습니다.. (6)	slowcity	2011-06	6959	0
eSATA핫플러깅이 되지않습니다.. (6) 2011-06 6959 1 slowcity
37525	CRT 모니터 관련 질문드립니다. (7)	방o효o문	2011-06	5843	0
CRT 모니터 관련 질문드립니다. (7) 2011-06 5843 1 방o효o문
37524	레이드0의 하드추가 질문,,, (6)	원주멋진덩치	2011-06	12683	0
레이드0의 하드추가 질문,,, (6) 2011-06 12683 1 원주멋진덩치
37523	IE9 버그 해결방법 아시는분 없으세요? (1)	스카이	2011-06	6056	0
IE9 버그 해결방법 아시는분 없으세요? (1) 2011-06 6056 1 스카이
37522	시게이트 2테라 5400RPM RAID1 사용 해보신분 계세요 ? (4)	6툴	2011-06	6966	0
시게이트 2테라 5400RPM RAID1 사용 해보… (4) 2011-06 6966 1 6툴
37521	컴퓨터 파워를 일반 SMPS 로 사용가능 여부 (7)	시나브로	2011-06	9408	0
컴퓨터 파워를 일반 SMPS 로 사용가능 여부 (7) 2011-06 9408 1 시나브로
37520	하드 인식 문제에 대해서 (12)	가빠로구나	2011-06	5958	0
하드 인식 문제에 대해서 (12) 2011-06 5958 1 가빠로구나
37519	서버이전 후 일부유저들이 홈페이지에 접속이 안된다고 하는데.. 이유가 뭘까요 ㅠㅠ (15)	최창현	2011-06	9220	0
서버이전 후 일부유저들이 홈페이지에 접… (15) 2011-06 9220 1 최창현
37518	최근 CD 영역 생성되는 USB .. 어떤걸 구매 해야 될까요 (5)	우앙뿌앙	2011-06	7734	0
최근 CD 영역 생성되는 USB .. 어떤걸 구… (5) 2011-06 7734 1 우앙뿌앙
37517	BOD 를 사용하고 계신분 있으신가요? (4)	시나브로	2011-06	5836	0
BOD 를 사용하고 계신분 있으신가요? (4) 2011-06 5836 1 시나브로
37516	시리얼 to phone 케이블 문의 드립니다. (2)	monan	2011-06	5618	0
시리얼 to phone 케이블 문의 드립니다. (2) 2011-06 5618 1 monan
37515	인텔 정품아닌 SSD A/S 어떻게 해야 하나요? (5)	민사장	2011-06	6248	0
인텔 정품아닌 SSD A/S 어떻게 해야 하나… (5) 2011-06 6248 1 민사장
37514	에어콘대신에 컴퓨터와 함께 사용할 수 있는 냉풍(또는 빙풍)기로는 믿을 만한 제품… (10)	classiccha	2011-06	6371	0
에어콘대신에 컴퓨터와 함께 사용할 수 있… (10) 2011-06 6371 1 classiccha
37513	제온CPU의 표시 UP... QC..? (3)	카라한	2011-06	5350	0
제온CPU의 표시 UP... QC..? (3) 2011-06 5350 1 카라한
37512	WAS(Weblogic) 관련 질문 입니다. (7)	GoodWolf	2011-06	9976	0
WAS(Weblogic) 관련 질문 입니다. (7) 2011-06 9976 1 GoodWolf
37511	인텔 SSD로 바꾼 결과 (3)	마이코코	2011-06	5410	0
인텔 SSD로 바꾼 결과 (3) 2011-06 5410 1 마이코코
37510	이걸 메인보드 브라켓이라고 하나요? (5)	민성일	2011-06	8303	0
이걸 메인보드 브라켓이라고 하나요? (5) 2011-06 8303 1 민성일