에러 메세지 Starting ChromeDriver 113.0.5672.63 (0e1a4471d5ae5bf128b1bd8f4d627c8cbd55f70c-refs/branch-heads/5672@{#912}) on port 42808 Only local connections are allowed. Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe. ChromeDriver was started successfully. [1686528899.643][WARNING]: This version of ChromeDriver has not been tested wi..

현재 Google에서 동작하는 Crawler을 제작 중인데 계속 reCAPTCHA에 막혀 고생.. 혹시 다음에도 Crawler를 만들 수도 있을까 하는 생각에 간략한 해결 방안과 노력의 여정을 남기는.. 기존 방법 reCAPTCHA를 최대한 발생시키지 않게 하기위한 노력들 첫번째 방법 Crawler제작 시 단순 thread.sleep이나, 파싱하는 페이지 별로 텀을 주고 페이지 내부에서도 클릭과 같은 요청 시에도 텀을 줬다. 결과 : 7일 정도 Crawler가 지속되다가 reCAPTCHA가 발생하였으며, 그 뒤로는 3~4시간에 한번꼴로 발생. 두번째 방법 첫번째 방법은 텀을 ms단위의 절대값으로 계속 입력했었다 (ex) 1200000ms random 알고리즘을 간단하게 만들어서 적용시킴 1. 텀의 범위 ..

jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety jsoup: Java HTML Parser jsoup is a Java library for working with real-world HTML. It provides a very convenient API for fetching URLs and extracting and manipulating data, using the best of HTML5 DOM methods and CSS selectors. jsoup implements the WHATWG H jsoup.org Jsoup은 실제 HTML 작업을 위한 Java 라이브러리이다. HTML5 DOM 메..