robots.txt 와 meta 테그를 사용한 봇 접근 제한

견적 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7468 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

4133/5680

번호	제목Page 4133/5680	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (726)	정은준1	2014-05	4945122	0
[필독] 처음 오시는 분을 위한 안내 (726) 2014-05 4945122 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1481833	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1481833 1 백메가
30947	태양열 집열판.. 사용처.. (12)	2CPU최주희	2012-02	7215	0
태양열 집열판.. 사용처.. (12) 2012-02 7215 1 2CPU최주희
30946	메모리 혼용 질문 (6)	이원재K	2014-03	5297	0
메모리 혼용 질문 (6) 2014-03 5297 1 이원재K
30945	[re] 제온 2.4기가에는 L2캐시가 없다..?	김정태	2002-12	12160	41
[re] 제온 2.4기가에는 L2캐시가 없다..? 2002-12 12160 1 김정태
30944	DVD가 잘안구워집니다...^^:(수정) (2)	정힘찬	2008-09	4676	25
DVD가 잘안구워집니다...^^:(수정) (2) 2008-09 4676 1 정힘찬
30943	PM851 이게 어떤 클래스인가요? (2)	윈도우10	2015-07	4242	0
PM851 이게 어떤 클래스인가요? (2) 2015-07 4242 1 윈도우10
30942	삼성 레지스터램은 어디서 서비스를 받아야... (3)	하규열	2002-12	12146	20
삼성 레지스터램은 어디서 서비스를 받아… (3) 2002-12 12146 1 하규열
30941	File Server(NAS) 에서 CPU 가 영향을 미칠까요? (5)	임진욱	2008-09	5211	17
File Server(NAS) 에서 CPU 가 영향을 미… (5) 2008-09 5211 1 임진욱
30940	Intel 82574L 이 자꾸 사라집니다. (6)	witbox	2017-08	4014	0
Intel 82574L 이 자꾸 사라집니다. (6) 2017-08 4014 1 witbox
30939	[re] AV감상용으로 컴을 구상하고 싶습니다. (4)	이승현	2003-01	9575	29
[re] AV감상용으로 컴을 구상하고 싶습니… (4) 2003-01 9575 1 이승현
30938	안녕하세요 775 소켓 HP 메인보드 제온 개조 바이오스때문에 도움 요청 드립니다. (5)	서용재	2015-07	6082	0
안녕하세요 775 소켓 HP 메인보드 제온 개… (5) 2015-07 6082 1 서용재
30937	발열조끼... 쓸만한가요? 불편할까요? (15)	김건우	2018-11	4347	0
발열조끼... 쓸만한가요? 불편할까요? (15) 2018-11 4347 1 김건우
30936	펜-4와 amd듀얼에 관해서 질문 드립니다 (5)	김준표	2003-01	10626	9
펜-4와 amd듀얼에 관해서 질문 드립니다 (5) 2003-01 10626 1 김준표
30935	Windows2008에서 버츄얼박스 써보신분? (1)	류장호	2008-10	4878	9
Windows2008에서 버츄얼박스 써보신분? (1) 2008-10 4878 1 류장호
30934	부러진 메카니멀 (10)	나파이강승훈	2015-07	4590	0
부러진 메카니멀 (10) 2015-07 4590 1 나파이강승훈
30933	혹시 노트북 cd-rom에 하드장착할 수 있는 키트(?)가 있나요 (8)	박광덕	2008-10	9140	4
혹시 노트북 cd-rom에 하드장착할 수 있는… (8) 2008-10 9140 1 박광덕
30932	혹시 국내에도 nvidia 카드 VRAM 개조하는 분이 계실까요? (19)	Psychophysi…	08-29	683	0
혹시 국내에도 nvidia 카드 VRAM 개조하는… (19) 08-29 683 1 Psychophysi…
30931	98SE 사운드 질문 (5)	방효문	2008-11	4489	6
98SE 사운드 질문 (5) 2008-11 4489 1 방효문
30930	1366 보드 알리익스프레스 (4)	niet38h	2015-08	5479	0
1366 보드 알리익스프레스 (4) 2015-08 5479 1 niet38h
30929	형광등 안정기와 형광등 W(와트)일치에대해 문의드립니다. (3)	캡틴아메리카노	2016-08	10397	0
형광등 안정기와 형광등 W(와트)일치에대… (3) 2016-08 10397 1 캡틴아메리카노
30928	노트북 사기 참 힘듭니다. (2)	김동영남	2020-01	2706	0
노트북 사기 참 힘듭니다. (2) 2020-01 2706 1 김동영남