IP주소 차단 문의 (웹 접속 트래픽 과다 IP)

   조회 1987   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

현재 카페24에서 호스팅 서비스를 이용중입니다.
다음 그림과 같이, 34.64.aaa.bbb 주소에서 트래픽의 대부분(1~16위)을 차지하고 있습니다.
(34.64.aaa 까지는 같은 숫자이고요, bbb는 다 다릅니다.)

IP주소 조회를 해 봤더니, 다음과 같은 내용이 있습니다.
--------------------------------------------
# start

NetRange:       34.64.80.0 - 34.64.95.255
CIDR:           34.64.80.0/20
NetName:        KR-11-4
NetHandle:      NET-34-64-80-0-1
Parent:         GOOGLE-CLOUD (NET-34-64-0-0-2)
NetType:        Reassigned
OriginAS:       AS139070
Customer:       Google Cloud Asia Pacific Seoul Region (C07661146)
RegDate:        2020-10-14
Updated:        2020-10-14
Ref:            https://rdap.arin.net/registry/ip/34.64.80.0

CustName:       Google Cloud Asia Pacific Seoul Region
Address:        20 Floor, Gangnam Finance Center
Address:        152 Teheran-ro Gangnam-gu
City:           Seoul

StateProv:
PostalCode:     06236
Country:        KR
RegDate:        2020-10-14
Updated:        2020-10-14
Ref:            https://rdap.arin.net/registry/entity/C07661146

OrgAbuseHandle: GCABU-ARIN
OrgAbuseName:   GC Abuse
OrgAbusePhone:  +1-650-253-0000
OrgAbuseEmail:  ***********************@******.com
OrgAbuseRef:    https://rdap.arin.net/registry/entity/GCABU-ARIN


OrgTechHandle: ZG39-ARIN
OrgTechName:   Google LLC
OrgTechPhone:  +1-650-253-0000
OrgTechEmail:  ************@******.com
OrgTechRef:    https://rdap.arin.net/registry/entity/ZG39-ARIN

# end

------------------------------

내용이 길어서 다 가져오진 못했는데, 위에 가져온 텍스트 윗부분에 다음과 같은 내용도 있었습니다.

Comment:        *** The IP addresses under this Org-ID are in use by Google Cloud customers *** 


이놈들의 User Agent는 다음과 같은 구문을 가지고 있습니다.
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.6422.65 Mobile Safari/537.36 (compatible; GoogleOther) 


질문입니다.
1. 이렇게 IP주소 바꿔가면서 대량으로 긁어가는 놈들은 어떤 놈들입니까? 무슨 용도로 긁어갈까요?
2. 이런 IP주소는 그냥 차단해 버리시나요? (괜히 차단했다가, 접속 안된다는 사람들이 나올까봐 걱정됩니다.)


고맙습니다~



짧은글 일수록 신중하게.
트니아빠 2024-05
각종 bot 들이 있고, 웹 로그 분석 프로그램들 중에서는 이런 봇들의 주소를 미리 가지고 있어서 해당 내용을 보여주는 경우도 있습니다.
공식적인 bot들은 비교적 robots.txt를 존중해준다고 하니 robots.txt를 작성해 보세요.
그냥 차단해도 별 무리는 없을 것 같기는 합니다.
     
아마데우쓰 2024-05
아, robots.txt는 이미 작성되어 있습니다.
유명 봇 말고는 모두 disabled로 되어 있습니다.
          
무아 2024-05
구글 봇이 유명 봇으로 분류되어 통과된 건 아닌지요?
구글도 막아버리시면 될 것 같은데요. (서버에서 구글 서비스를 쓰는게 없다면 막아도 무관하겠죠)
참고로 구글 광고 같은 걸 달아두는 서버라면 막으면 안되겠지만..
               
아마데우쓰 2024-05
그런건 아닙니다.
저기에 올려 놓은건 저 IP주소에 대한 whois 정보입니다.
구글이 직접 사용하는 IP는 아니고, 구글 클라우드 서비스에서, 다른 사람이 임차해서 쓰는 IP로 저는 해석했습니다.

구글은 허용해야 하고, 그렇지 않은 곳은 차단해야 하는 상황입니다.
민호양 2024-05
구글 봇은 별도의 user-agent가 있습니다. 그리고 AS도 google cloud로 올라오지 않습니다. 그냥 google로 뜰겁니다. 저건 개인 사용자가 실제로 크롤링하는게 맞아보입니다.
     
아마데우쓰 2024-05
네, 답변 고맙습니다. ^^
술이 2024-05
막는거로는 안됩니다.
제가 방화벽을 프런트와 백엔드로 구성해서 저런거 원천 차단중입니다.
저거 막아도 또 다른대역 갖고 있어요 몇달간 씨름하다가 결국 방화벽 구성을 새로이 했습니다
     
아마데우쓰 2024-05
방화벽이라면, 특정 IP와 포트로 막는다는 말씀이신가요?
아니면 좀 넓은 의미의 방화벽이란 용어로, 어떤 패턴을 이용해서 차단한다는 말씀이신가요? ^^
          
술이 2024-05
IPS 기능이 존재하는 방화벽과 PFSENSE 의 pfBlockerNG 를 동시에 사용합니다. 블랙리스트 IP를 공유하는 오픈소스DB들이 많아서 그걸 룰테이블에 참조하게 하면 악성 스팸부터 봇 해킹 IP들이 90프로는 차단됩니다. 원래 하나의 방화벽 성능이 너무 월등해서 사용하다가 블랙리스트IP DB들을 참조할수 있는 기능을 한 방화벽을 별도로 쓸수 밖에 없던게 그나마 PFSENSE가 유일했습니다. pfsense 를 수리카타와 기가막히게 잘만지면 한개만 써도 되겠지만 오탐에 대한 대응을 감당할수 없어서 수리카타는 아주 단순한것만 사용합니다. 블랙리스트 IP 테이블 사용하지 않으면 웹서버에 해킹이 어마 무시하게 들어오는걸 모르고 운영하고 있을겁니다. 그러다 취약점이 발견되면 털려요.
               
아마데우쓰 2024-05
아.. 그런 것이었군요.
친절한 설명 고맙습니다.
연구 한 번 해 보겠습니다. ^^
이원재K 2024-05
구글 클라우드.. 저 ip 대역 아마 구글에서 직접 쓰는게 아니고 구글 클라우드 서비스 사용자에게 할당된 ip 일겁니다.
구글 클라우드, 아마존웹서비스, 마이크로소프트 등... 클라우드 서비스 사용자에게 할당된  ip 는 나쁜 봇들이 많아요.
일단 전 저런것들은 다 막고 있습니다.
그런데 막아도 막아도 끝이 없어요... ㅜㅜ
     
아마데우쓰 2024-05
맞습니다.
저도 그렇게 해석합니다.
답변 고맙습니다.
끝이 없군요.. ㅠ.ㅠ


QnA
제목Page 5332/5710
2014-05   5156364   정은준1
2015-12   1690708   백메가
2023-05   1997   dr2am
2022-11   1997   1z2z
2022-12   1997   병맛폰
2024-01   1997   오성기
2023-03   1997   다초린
2021-02   1997   SILVERSTAR
2022-10   1997   벤쿠버한량
2023-10   1996   영산회상
2024-06   1996   코젠
2023-03   1996   나우마크
2020-07   1996   스무프
2020-09   1996   통신보안
2023-07   1996   네이쳐
2022-11   1996   신우섭
2021-11   1996   컴박
2022-04   1996   영산회상
2020-07   1996   행복찾기
2022-07   1996   미라클
2024-02   1996   정은준1
2024-07   1995   신은왜