robots.txt 와 meta 테그를 사용한 봇 접근 제한

QnA more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7594 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4450/5707

번호	제목Page 4450/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5138736	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5138736 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1673327	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1673327 1 백메가
25160	파일리스트에서 폴더명만 추출하려면 어떻게 해야 할가요 ? (14)	삐돌이슬픔이	2018-02	7594	0
파일리스트에서 폴더명만 추출하려면 어떻… (14) 2018-02 7594 1 삐돌이슬픔이
25159	WD S-ATA 36G 10000rpm 정품 (8MB) <-- 이거 괜찮습니까? (6)	김명욱	2004-04	7594	9
WD S-ATA 36G 10000rpm 정품 (8MB) <--… (6) 2004-04 7594 1 김명욱
25158	투알과 제온의 차이를 알고 싶습니다 (4)	유용수	2004-07	7594	11
투알과 제온의 차이를 알고 싶습니다 (4) 2004-07 7594 1 유용수
25157	케이스의 철판을 자르는 방법에 대해 문의드리고 싶습니다. (4)	도동우	2007-07	7594	7
케이스의 철판을 자르는 방법에 대해 문의… (4) 2007-07 7594 1 도동우
25156	하드디스크 PCB 기판을 교체하려고 합니다. (4)	즐꿈	2015-11	7594	0
하드디스크 PCB 기판을 교체하려고 합니다. (4) 2015-11 7594 1 즐꿈
25155	X25-V SSD 40G X 2 vs 500G SATA X 2 (5)	신정욱	2010-07	7594	0
X25-V SSD 40G X 2 vs 500G SATA X 2 (5) 2010-07 7594 1 신정욱
25154	컴퓨터 부팅시 윈도우 로고가 나타나자 마자 프리징이 일어 납니다. (18)	원주멋진덩치	2017-09	7595	0
컴퓨터 부팅시 윈도우 로고가 나타나자 마… (18) 2017-09 7595 1 원주멋진덩치
25153	이 제품이 3기유인가요 아님 4기유 인가요? (29)	늘파란	2017-10	7595	0
이 제품이 3기유인가요 아님 4기유 인가요? (29) 2017-10 7595 1 늘파란
25152	robots.txt 와 meta 테그를 사용한 봇 접근 제한 (2)	무아	2011-06	7595	0
robots.txt 와 meta 테그를 사용한 봇 접… (2) 2011-06 7595 1 무아
25151	없는돈 내서 옛날영화 DVD샀는데..자막이 없는거 같네요... (3)	김건우	2011-08	7595	0
없는돈 내서 옛날영화 DVD샀는데..자막이 … (3) 2011-08 7595 1 김건우
25150	아론키보드사가 망한 건가요? (3)	차평석	2009-11	7595	0
아론키보드사가 망한 건가요? (3) 2009-11 7595 1 차평석
25149	sli기능 지원하는 메인보드 있나요? (1)	막강	2010-11	7595	0
sli기능 지원하는 메인보드 있나요? (1) 2010-11 7595 1 막강
25148	미니 SATA ? 마이크로 SATA ? (5)	Hermes	2011-12	7595	0
미니 SATA ? 마이크로 SATA ? (5) 2011-12 7595 1 Hermes
25147	RAID10 구성 방식인데 무슨 차이가 있나요? (15)	행아범	2012-11	7596	0
RAID10 구성 방식인데 무슨 차이가 있나요? (15) 2012-11 7596 1 행아범
25146	고정아이피 서비스 하는 곳 있는지요? (6)	박기두	2006-09	7596	7
고정아이피 서비스 하는 곳 있는지요? (6) 2006-09 7596 1 박기두
25145	얼마전 질문올렸던 메인보드의 MSG LED동작여부에 대해서... (2)	김건우	2015-02	7596	0
얼마전 질문올렸던 메인보드의 MSG LED동… (2) 2015-02 7596 1 김건우
25144	IBM x3550 m2 - 메모리 어떻게 끼워야 하나요? (14)	회원K	2013-05	7597	0
IBM x3550 m2 - 메모리 어떻게 끼워야 하… (14) 2013-05 7597 1 회원K
25143	꼭 알고 싶은 물건이 있습니다 (4)	임시현	2004-06	7597	10
꼭 알고 싶은 물건이 있습니다 (4) 2004-06 7597 1 임시현
25142	USB전원 -> 일반 전원케이블로 바꿔주는 젠더 없을까요? (7)	정현구	2006-06	7597	14
USB전원 -> 일반 전원케이블로 바꿔주… (7) 2006-06 7597 1 정현구
25141	미크로틱 장비로 방화벽으로 쓸경우 질문 입니다. (2)	빡시다	2013-08	7597	0
미크로틱 장비로 방화벽으로 쓸경우 질문 … (2) 2013-08 7597 1 빡시다