대규모(?)로 구글 검색을 해야 하는 상황입니다. 한마디로 자동으로 구글 검색을 해주는
프로그램이 필요한데요, 검색어는 두개의 파일에 나뉘어 들어있습니다.
A.txt 파일 내에는 a001, a002, a003... 이런식으로,
B.txt 파일에는 b001, b002, b003... 이렇게 검색어가 들어 있습니다.
구글 스칼라 검색창에 a001 b001, a001 b002, a001, b003... 이런식으로
두 파일로부터 검색어의 조합을 만들어서 구글에 자동으로 입력하여 검색을 수행하고,
'찾을 수 없습니다' 라는 결과가 나오면 스킵, 하지만 어떤 검색결과 나오면
그 검색결과의 첫 페이지를 html로 저장하려고 합니다.
검색어의 조합이 최대 약 10만개 남짓 될것 같아서 도저히 수동으로는 불가능합니다.
저는 프로그래밍은 커녕 스크립트도 짤 줄 몰라서 이럴 경우 어떻게 해야
되는지 방향이라도 좀 잡아 주실 수 있을까요? 이런건 파이썬으로 하나요? 아니면 펄??
원래 자동 검색은 구글에서 허용하지 않으니 검색마다 시간차도 설정해야겟죠?
소위 말하는 '검색봇'을 만들어서 구현해야 하는데 프로그래밍을 전혀 모르신다고 하면 쉽지는 않을겁니다.
그리고 단일IP에서 조합이 20만건 정도 되면 수행 도중에 블록될지도..
네, 저도 자동 검색 금지 정책에 걸릴것 같아서요.
사용자 약관에 보니 이런 경우엔 미리 허가 받으라고 나오네요.
핵심 결과만 구하려고 해도 쿼리가 2만개 정도 될것 같은데... 역시나 생각했던것보다 일이 복잡할것 같군요.