robots.txt 와 meta 테그를 사용한 봇 접근 제한

BMT more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7604 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4451/5709

번호	제목Page 4451/5709	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5153423	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5153423 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1687812	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1687812 1 백메가
25180	BMW 740 iL 95년식즘 되는데..오디오 앰프를 구할려고 하는데 잘 안구해지네요.. (2)	서동국	2010-10	7600	0
BMW 740 iL 95년식즘 되는데..오디오 앰… (2) 2010-10 7600 1 서동국
25179	[ 목공예 ] 우드 책상 - 손상부분 복원 (9)	전설속의미…	2017-10	7601	0
[ 목공예 ] 우드 책상 - 손상부분 복원 (9) 2017-10 7601 1 전설속의미…
25178	카세트 테이프를 mp3 로 변환하는 장비가 있나요? (5)	정은준	2006-12	7601	20
카세트 테이프를 mp3 로 변환하는 장비가 … (5) 2006-12 7601 1 정은준
25177	미크로틱 장비로 방화벽으로 쓸경우 질문 입니다. (2)	빡시다	2013-08	7601	0
미크로틱 장비로 방화벽으로 쓸경우 질문 … (2) 2013-08 7601 1 빡시다
25176	AS기간 지난 그래픽카드가 고장났을때 어떻게 하시나요? (4)	백인학	2006-08	7601	18
AS기간 지난 그래픽카드가 고장났을때 어… (4) 2006-08 7601 1 백인학
25175	1u서버 택배가능한가요? (23)	Lucyed	2016-05	7602	0
1u서버 택배가능한가요? (23) 2016-05 7602 1 Lucyed
25174	IBM x3550 m2 - 메모리 어떻게 끼워야 하나요? (14)	회원K	2013-05	7602	0
IBM x3550 m2 - 메모리 어떻게 끼워야 하… (14) 2013-05 7602 1 회원K
25173	아톰시퓨 많이 느리죠? (11)	김건우	2010-09	7602	0
아톰시퓨 많이 느리죠? (11) 2010-09 7602 1 김건우
25172	RAID10 구성 방식인데 무슨 차이가 있나요? (15)	행아범	2012-11	7602	0
RAID10 구성 방식인데 무슨 차이가 있나요? (15) 2012-11 7602 1 행아범
25171	꼭 알고 싶은 물건이 있습니다 (4)	임시현	2004-06	7602	10
꼭 알고 싶은 물건이 있습니다 (4) 2004-06 7602 1 임시현
25170	생체 칩에 대해서 (12)	가빠로구나	2010-04	7602	0
생체 칩에 대해서 (12) 2010-04 7602 1 가빠로구나
25169	고정아이피 서비스 하는 곳 있는지요? (6)	박기두	2006-09	7602	7
고정아이피 서비스 하는 곳 있는지요? (6) 2006-09 7602 1 박기두
25168	아론키보드사가 망한 건가요? (3)	차평석	2009-11	7602	0
아론키보드사가 망한 건가요? (3) 2009-11 7602 1 차평석
25167	RMA 문의 입니다. (1)	최일섭	2006-09	7602	18
RMA 문의 입니다. (1) 2006-09 7602 1 최일섭
25166	구형 연결잭이 달린 키보드를 구입할곳이 없나요? (4)	추상화	2005-03	7603	46
구형 연결잭이 달린 키보드를 구입할곳이 … (4) 2005-03 7603 1 추상화
25165	mbr제거시 fdisk/mbr 명령 실행시 질문합니다. (1)	이기영	2004-10	7603	5
mbr제거시 fdisk/mbr 명령 실행시 질문합… (1) 2004-10 7603 1 이기영
25164	타블렛 이거 쓸만한 건가요? (3)	곽순현	2013-07	7603	0
타블렛 이거 쓸만한 건가요? (3) 2013-07 7603 1 곽순현
25163	대용량 하드 인식에 관하여..(내용 조금 수정했습니다.) (4)	최용석	2004-10	7603	10
대용량 하드 인식에 관하여..(내용 조금 … (4) 2004-10 7603 1 최용석
25162	핸드폰 테더링과 하이브리드 에그의 차이점... (11)	evoker	2015-12	7603	0
핸드폰 테더링과 하이브리드 에그의 차이… (11) 2015-12 7603 1 evoker
25161	에너맥스 교체용 케이블 구할 수 있는 곳 아시나요? (2)	양창권	2010-11	7604	0
에너맥스 교체용 케이블 구할 수 있는 곳 … (2) 2010-11 7604 1 양창권