이런 업체는 다 협약을 맺고 크롤링 하는 것일까요?

검은콩   
   조회 3329   추천 0    

 요즘 커뮤니티 여론조사에 대해 관심이 생겨서 이런 것도 대행해주는 업체가 있나 해서 찾아보았습니다.

위고몬이라는 업체(정확히는 Bflysoft ) 가 있는데


이런 식으로 뽑아주더라구요.


Trial 이라서 다른 단어로 조회가 안 되네요. 해당 단어들은 좀 민감한 시사 주제들인데 사과드립니다.


여하튼 질문의 요점은

이러한 '여론조사 업체'가 위 사이트(뽐뿌,클리앙,일베,에펨코리아 등)와 협약을 맺었을까? 입니다.

안 맺다면 저런 식으로 마구잡이로 크롤링해서 내용을 보여줘도 법적으로 문제가 되지 않는가 궁금하네요.


짧은글 일수록 신중하게.
그모도 2021-01
robots.txt 없는데만 긁어오겠죠... 검색엔진도 일반 사이트는 협약 안맺고 로봇 수집 금지 설정된곳만 안가고 그래요.
     
mongodb 2021-01
해당 사이트 데모 들어가서 확인해보니 저 업체 네이버 측 블로그/카페 게시글도 긁어오는 거 보니 맺긴 한 거 같네요.
써버에 무리를 주면 해당 싸이트의 써버에서 접근을 막을 수 있는 부분이 생기기도 하며 도의적인 부분이 있기도 하고 저작권을 훔치는것은 불법입니다만 웹크롤링은 법적으로 문제가 없습니다.
     
검은콩 2021-01
아하.. 그렇군요. 감사합니다.


QnA
제목Page 1071/5713
2015-12   1716021   백메가
2014-05   5182663   정은준1
2015-01   3329   윈도우10
2014-08   3329   김건우
2019-02   3329   맨홀홍
2018-06   3329   김건우
2020-01   3329   션한맥주
2016-03   3329   라이젠
2017-03   3329   김건우
2014-02   3329   가빠로구나
2019-07   3329   김건우
2020-08   3329   GPGPU
2019-02   3329   호호
2022-09   3329   워크스페이스
2014-03   3329   가빠로구나
2022-11   3329   주운
2021-01   3330   검은콩
2014-12   3330   이정식
2018-12   3330   이니이니
2017-06   3330   NGC
2020-04   3330   전진
2017-04   3330   미수맨