robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7483 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3819/5685

번호	제목Page 3819/5685	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4965011	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4965011 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1501419	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1501419 1 백메가
37338	NUC 온도센서 고장일까요? (1)	읍내노는오빠	2016-10	6122	0
NUC 온도센서 고장일까요? (1) 2016-10 6122 1 읍내노는오빠
37337	한대의 리눅스 서버 설정(외부망, 내부망) (4)	vmware코어…	2020-04	6122	0
한대의 리눅스 서버 설정(외부망, 내부망) (4) 2020-04 6122 1 vmware코어…
37336	주차테러시 보험처리여부... (5)	윤치열	2012-12	6122	0
주차테러시 보험처리여부... (5) 2012-12 6122 1 윤치열
37335	IBM 노트북 중에 1024 X768 이상의 해상도 지원하는 모델.. (6)	이성훈	2005-01	6122	5
IBM 노트북 중에 1024 X768 이상의 해상도… (6) 2005-01 6122 1 이성훈
37334	Intel Arrandale System용 mobile chipset 5 시리즈 구할곳 있는지요? (2)	이인	2009-09	6123	0
Intel Arrandale System용 mobile chipset… (2) 2009-09 6123 1 이인
37333	하이퍼 링크 만들어주세요 (2)	미수맨	2009-08	6123	0
하이퍼 링크 만들어주세요 (2) 2009-08 6123 1 미수맨
37332	하드디스크 에러 질문입니다 (1)	ging	2009-08	6123	0
하드디스크 에러 질문입니다 (1) 2009-08 6123 1 ging
37331	무선 키보드 1대를 2대의 컴퓨터에 쓸수 있나요? (7)	민사장	2020-09	6123	0
무선 키보드 1대를 2대의 컴퓨터에 쓸수 … (7) 2020-09 6123 1 민사장
37330	캐패시터(전해콘덴서) 문의 드립니다 (13)	DOOWON	2015-04	6123	0
캐패시터(전해콘덴서) 문의 드립니다 (13) 2015-04 6123 1 DOOWON
37329	PCI 슬롯에 그래픽 카드를 하나 더 끼워 모니터를 확장하면 어떻게 되나요??? (3)	병맛폰	2012-05	6123	0
PCI 슬롯에 그래픽 카드를 하나 더 끼워 … (3) 2012-05 6123 1 병맛폰
37328	DVD에서 Divx파일로 만들고싶은걸 배우고싶습니다 (7)	예관신규식	2010-01	6123	0
DVD에서 Divx파일로 만들고싶은걸 배우고… (7) 2010-01 6123 1 예관신규식
37327	옵테론 270 듀얼에 윈도우 서비스 팩 설치하면 블루 스크린? (1)	김한구	2008-05	6123	20
옵테론 270 듀얼에 윈도우 서비스 팩 설치… (1) 2008-05 6123 1 김한구
37326	VDI, 제로클라이언트 에 관한 질문 올려봅니다. (6)	나비z	2013-12	6123	0
VDI, 제로클라이언트 에 관한 질문 올려봅… (6) 2013-12 6123 1 나비z
37325	2003을 설치를 하기전에 특별이 주의할점이..? (5)	정힘찬	2005-07	6124	2
2003을 설치를 하기전에 특별이 주의할점… (5) 2005-07 6124 1 정힘찬
37324	보드 옵션롬 부족에 대한...의견을 듣고 싶습니다.. (1)	박재석	2008-12	6124	4
보드 옵션롬 부족에 대한...의견을 듣고 … (1) 2008-12 6124 1 박재석
37323	TS140에서 하드랙 사용하시는 분 계신가요? (3)	audacity	2016-09	6124	0
TS140에서 하드랙 사용하시는 분 계신가요? (3) 2016-09 6124 1 audacity
37322	[질문] 노트북 전체 백업을 하려면 ? (3)	박문형	2008-02	6124	2
[질문] 노트북 전체 백업을 하려면 ? (3) 2008-02 6124 1 박문형
37321	HDMI 질문입니다. (5)	김동수	2008-01	6124	8
HDMI 질문입니다. (5) 2008-01 6124 1 김동수
37320	[질문] 네이티브 USB3.0 관련 (4)	일반유저	2012-07	6124	0
[질문] 네이티브 USB3.0 관련 (4) 2012-07 6124 1 일반유저
37319	tyan s2877 메인보드에 ibm br10i 장착시 그래픽카드와 충돌현상같은데요? (3)	김현웅	2011-05	6124	0
tyan s2877 메인보드에 ibm br10i 장착시 … (3) 2011-05 6124 1 김현웅