robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7213 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3733/5611

번호	제목Page 3733/5611	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1131956	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1131956 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (719)	정은준1	2014-05	4583370	0
[필독] 처음 오시는 분을 위한 안내 (719) 2014-05 4583370 1 정은준1
37562	IBM x336 서버 메모리 구성 문의 (3)	이원재K	2011-06	7356	0
IBM x336 서버 메모리 구성 문의 (3) 2011-06 7356 1 이원재K
37561	중고하드구입후 테스트는 뭘해야 할까요? (9)	스카이	2011-06	7350	0
중고하드구입후 테스트는 뭘해야 할까요? (9) 2011-06 7350 1 스카이
37560	리눅스 smb 문제 도와주세요(수정 의문점 추가) (6)	임진욱	2011-06	5963	0
리눅스 smb 문제 도와주세요(수정 의문점 … (6) 2011-06 5963 1 임진욱
37559	x58일반보드에 제온cpu달고 ecc/reg메모리 사용가능한가요? (3)	최모씨	2011-06	17775	0
x58일반보드에 제온cpu달고 ecc/reg메모리… (3) 2011-06 17775 1 최모씨
37558	다나와 보다가 오픈프레임 소개동영상 봤는데요... 관심이생겨서..질문좀... (2)	김건우	2011-06	5643	0
다나와 보다가 오픈프레임 소개동영상 봤… (2) 2011-06 5643 1 김건우
37557	HP smart array p400 질문 좀 드립니다. (3)	강두일	2011-06	7790	0
HP smart array p400 질문 좀 드립니다. (3) 2011-06 7790 1 강두일
37556	FTP 전송안되는 화일은 뭔가요? 왜 이런건가요? (15)	김건우	2011-06	9099	0
FTP 전송안되는 화일은 뭔가요? 왜 이런건… (15) 2011-06 9099 1 김건우
37555	AZEX Simplex 1236C 구형 스캐너 드라이버 구해요	하루카	2011-06	7712	0
AZEX Simplex 1236C 구형 스캐너 드라이버… 2011-06 7712 1 하루카
37554	인텔 ssd는 인텔보드에서만 써야 하는가요? (4)	6툴	2011-06	7010	0
인텔 ssd는 인텔보드에서만 써야 하는가요? (4) 2011-06 7010 1 6툴
37553	Revision K?	Larry	2011-06	6960	0
Revision K? 2011-06 6960 1 Larry
37552	잡음 제거를 위한 매칭트랜스(?)를 구입하려합니다. (2)	조명수	2011-06	11100	0
잡음 제거를 위한 매칭트랜스(?)를 구입하… (2) 2011-06 11100 1 조명수
37551	인터넷 익스플로러 꺼짐현상 질문. (7)	천안정성훈	2011-06	16682	0
인터넷 익스플로러 꺼짐현상 질문. (7) 2011-06 16682 1 천안정성훈
37550	사진 인화 서비스 추천 부탁드립니다. (5)	심바트	2011-06	9638	0
사진 인화 서비스 추천 부탁드립니다. (5) 2011-06 9638 1 심바트
37549	남는 SSD를 외장하드로 쓸수 있는지? (5)	마이코코	2011-06	9135	0
남는 SSD를 외장하드로 쓸수 있는지? (5) 2011-06 9135 1 마이코코
37548	노트북 + 모니터 2개 사용 가능한가요? (2)	뽀이잉	2011-06	15448	0
노트북 + 모니터 2개 사용 가능한가요? (2) 2011-06 15448 1 뽀이잉
37547	A4스캐너 A3스캐너 구입-어떤것이 좋나요... (3)	yummy	2011-06	10833	0
A4스캐너 A3스캐너 구입-어떤것이 좋나요.… (3) 2011-06 10833 1 yummy
37546	Br10i 인텔 껄루 마신분 계신가요? (2)	6툴	2011-06	6921	0
Br10i 인텔 껄루 마신분 계신가요? (2) 2011-06 6921 1 6툴
37545	CPU다리에 써말구리스를 묻혔습니다. (5)	김호성	2011-06	7992	0
CPU다리에 써말구리스를 묻혔습니다. (5) 2011-06 7992 1 김호성
37544	뭐가 문제인지 모르겠습니다. (4)	에스프레소	2011-06	6295	0
뭐가 문제인지 모르겠습니다. (4) 2011-06 6295 1 에스프레소
37543	공유기와 모뎀 연결 확인 방법이 뭔가요? (4)	가빠로구나	2011-06	7852	0
공유기와 모뎀 연결 확인 방법이 뭔가요? (4) 2011-06 7852 1 가빠로구나