robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7681 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1271/5736

번호	제목Page 1271/5736	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1806270	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1806270 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5281821	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5281821 1 정은준1
89317	유투브 동영상 다운좀 받으려고합니다 (7)	장동건2014	2009-08	7673	0
유투브 동영상 다운좀 받으려고합니다 (7) 2009-08 7673 1 장동건2014
89316	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7673	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7673 1 김명욱
89315	차량용 밧데리문의 (6)	윤치열	2012-02	7673	0
차량용 밧데리문의 (6) 2012-02 7673 1 윤치열
89314	CPU Cooler 문의 드립니다. (4)	GoodWolf	2011-01	7673	0
CPU Cooler 문의 드립니다. (4) 2011-01 7673 1 GoodWolf
89313	SATA Raid 설정문의 (4)	정은준	2006-07	7673	68
SATA Raid 설정문의 (4) 2006-07 7673 1 정은준
89312	멀티 태스킹에 4MB 캐쉬도 모자라나요? (6)	마이코코	2011-08	7672	0
멀티 태스킹에 4MB 캐쉬도 모자라나요? (6) 2011-08 7672 1 마이코코
89311	HP Proliant DL180 G6서버 관련 질문 입니다. (18)	예상아빠	2013-12	7672	0
HP Proliant DL180 G6서버 관련 질문 입니… (18) 2013-12 7672 1 예상아빠
89310	가상머신에서의 랜섬웨어는 메인PC까지 감염시키나요? (7)	신우섭	2018-05	7672	0
가상머신에서의 랜섬웨어는 메인PC까지 감… (7) 2018-05 7672 1 신우섭
89309	흑백 레이져 프린터 잘 아시는 분께... (8)	문병채	2009-04	7672	0
흑백 레이져 프린터 잘 아시는 분께... (8) 2009-04 7672 1 문병채
89308	고정아이피 서비스 하는 곳 있는지요? (6)	박기두	2006-09	7672	7
고정아이피 서비스 하는 곳 있는지요? (6) 2006-09 7672 1 박기두
89307	큐냅 나스 문의 드립니다. 10G 포트에 1G 지빅 사용 여부 (18)	블루영상	2018-03	7672	0
큐냅 나스 문의 드립니다. 10G 포트에 1G … (18) 2018-03 7672 1 블루영상
89306	파일전송 시 CPU 과다 부하 및 먹통현상 (10)	냉철한하늘소	2014-02	7671	0
파일전송 시 CPU 과다 부하 및 먹통현상 (10) 2014-02 7671 1 냉철한하늘소
89305	생체 칩에 대해서 (12)	가빠로구나	2010-04	7671	0
생체 칩에 대해서 (12) 2010-04 7671 1 가빠로구나
89304	ML150 G2 문의 드립니다. (2)	overtrue	2009-12	7671	0
ML150 G2 문의 드립니다. (2) 2009-12 7671 1 overtrue
89303	OpenFiler 사용 하려고 하는대 AMD 사용 해도 될려나요?	jore	2011-01	7671	0
OpenFiler 사용 하려고 하는대 AMD 사용 … 2011-01 7671 1 jore
89302	windows 메모장에 형식 unix(LF) -> windows(CRLF)로 변경 할 수있나요? (6)	ses497	2020-04	7671	0
windows 메모장에 형식 unix(LF) -> wi… (6) 2020-04 7671 1 ses497
89301	IBM x3550 M4에 Windows 2008 R2 설치 시 RAID 인식 문제 (6)	Q군	2015-05	7671	0
IBM x3550 M4에 Windows 2008 R2 설치 시 … (6) 2015-05 7671 1 Q군
89300	롤이나 오버워치 같은 게임 아이피로 차단 못시키는지요? (6)	행복하세	2020-07	7671	0
롤이나 오버워치 같은 게임 아이피로 차단… (6) 2020-07 7671 1 행복하세
89299	2.5인치 sas하드 질문드립니다. (11)	윤남수	2008-05	7671	21
2.5인치 sas하드 질문드립니다. (11) 2008-05 7671 1 윤남수
89298	IBM M1050 카드 펌웨어 업데이트	박문형	2011-06	7671	0
IBM M1050 카드 펌웨어 업데이트 2011-06 7671 1 박문형