robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7459 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4420/5672

번호	제목Page 4420/5672	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (725)	정은준1	2014-05	4928482	0
[필독] 처음 오시는 분을 위한 안내 (725) 2014-05 4928482 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1465985	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1465985 1 백메가
25060	애슬론 64 사용해 보신 분.. (6)	이은진	2004-04	7457	16
애슬론 64 사용해 보신 분.. (6) 2004-04 7457 1 이은진
25059	80핀하드에 68핀 젠더를 끼우고 전원을 넣으니... (5)	이관웅	2004-06	7458	3
80핀하드에 68핀 젠더를 끼우고 전원을 넣… (5) 2004-06 7458 1 이관웅
25058	hyper-v 에서 usb장치를 인식하게하는법없을가요??	Fasda	2016-03	7458	0
hyper-v 에서 usb장치를 인식하게하는법없… 2016-03 7458 1 Fasda
25057	아론키보드사가 망한 건가요? (3)	차평석	2009-11	7458	0
아론키보드사가 망한 건가요? (3) 2009-11 7458 1 차평석
25056	인텔 STS100C XEON 쿨러 조용한가요? (1)	보슬비내리…	2009-10	7458	0
인텔 STS100C XEON 쿨러 조용한가요? (1) 2009-10 7458 1 보슬비내리…
25055	S2665UANF 정품 사용하시는 분 (1)	김철환	2004-06	7459	54
S2665UANF 정품 사용하시는 분 (1) 2004-06 7459 1 김철환
25054	RAID10 구성 방식인데 무슨 차이가 있나요? (15)	행아범	2012-11	7459	0
RAID10 구성 방식인데 무슨 차이가 있나요? (15) 2012-11 7459 1 행아범
25053	SAS 3000 series, 4-port with 1064E 데이터 손실 (3)	눈동자	2011-10	7459	0
SAS 3000 series, 4-port with 1064E 데… (3) 2011-10 7459 1 눈동자
25052	netgear prosecure 보안 설정 - 외부 망 접속하기 (9)	회원K	2013-12	7459	0
netgear prosecure 보안 설정 - 외부 망 … (9) 2013-12 7459 1 회원K
25051	불법으로 사용하고 있다는 내용증명이 왔는데. (5)	이해하면오…	2009-11	7459	0
불법으로 사용하고 있다는 내용증명이 왔… (5) 2009-11 7459 1 이해하면오…
25050	amd 5600x 쿨러 소음이 큰 이유가 뭔가요 (17)	블루모션	2022-04	7459	0
amd 5600x 쿨러 소음이 큰 이유가 뭔가요 (17) 2022-04 7459 1 블루모션
25049	sli기능 지원하는 메인보드 있나요? (1)	막강	2010-11	7459	0
sli기능 지원하는 메인보드 있나요? (1) 2010-11 7459 1 막강
25048	HP ML150 G2 시스템 메모리 구성 문의 드립니다. (4)	overtrue	2009-12	7459	0
HP ML150 G2 시스템 메모리 구성 문의 드… (4) 2009-12 7459 1 overtrue
25047	워크스테이션 렌탈 할수 있는곳 아시는분 계신가요?	송승화	2013-08	7460	0
워크스테이션 렌탈 할수 있는곳 아시는분 … 2013-08 7460 1 송승화
25046	Award BIOS편집가능한 프로그램은 어디서 다운을 받아야 하나요? (2)	박석호	2004-07	7460	6
Award BIOS편집가능한 프로그램은 어디서 … (2) 2004-07 7460 1 박석호
25045	방화벽에서 막아놓은 포트로 해킹시도가 발생하는건.. (2)	슬픈잎새	2011-06	7460	0
방화벽에서 막아놓은 포트로 해킹시도가 … (2) 2011-06 7460 1 슬픈잎새
25044	i7-4790k와 e3-1270v3 중 어느 것을 선택할까요? (7)	차평석	2014-06	7460	0
i7-4790k와 e3-1270v3 중 어느 것을 선택… (7) 2014-06 7460 1 차평석
25043	hdv영상 편집용으로, 램32G 가치가 있을까요? (7)	김도열	2008-04	7460	15
hdv영상 편집용으로, 램32G 가치가 있을까… (7) 2008-04 7460 1 김도열
25042	CPU 성능 비교(셈프론 2600+ vs. 투알라틴 1.13) (7)	박경호	2005-11	7460	37
CPU 성능 비교(셈프론 2600+ vs. 투알라틴… (7) 2005-11 7460 1 박경호
25041	블레이드 서버라는것이 어떤차이가 있는거죠? (5)	정힘찬	2004-11	7460	4
블레이드 서버라는것이 어떤차이가 있는거… (5) 2004-11 7460 1 정힘찬