이전 글과 이어집니다 [Java/Selenium] Crawling 시 reCAPTCHA 우회 시도 - 1 현재 Google에서 동작하는 Crawler을 제작 중인데 계속 reCAPTCHA에 막혀 고생.. 혹시 다음에도 Crawler를 만들 수도 있을까 하는 생각에 간략한 해결 방안과 노력의 여정을 남기는.. 기존 방법 reCAPTCHA를 mag1c.tistory.com 상황 Crawler 모니터링 중에, 간헐적으로 NoSuchElementException이 발생했고 빈도수가 점점 증가했다. 이상함을 느낀 나머지 해결을 위해 나섰다(?) 해결 코드 살펴보기 NoSuchElementException은 결국 파싱을 못하는 거니까 cssSelector이나 xpath등의 값을 잘못 입력했나 찾아봤지만 아무리 찾아..

서론 아래의 포스팅에서, 간단하게 WebDriverManager Library를 사용하여 ChromeDriver.exe를 수동으로 설치하고 버전을 호환시킬 필요가 없는 방법을 알아보았다. [Java/Selenium] WebDriverManager 사용하기 ① - Chrome Verison (org.openqa.selenium.remote.ProtocolHandShake createSession) 에러 메세지 Starting ChromeDriver 113.0.5672.63 (0e1a4471d5ae5bf128b1bd8f4d627c8cbd55f70c-refs/branch-heads/5672@{#912}) on port 42808 Only local connections are allowed. Please se..

에러 메세지 Starting ChromeDriver 113.0.5672.63 (0e1a4471d5ae5bf128b1bd8f4d627c8cbd55f70c-refs/branch-heads/5672@{#912}) on port 42808 Only local connections are allowed. Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe. ChromeDriver was started successfully. [1686528899.643][WARNING]: This version of ChromeDriver has not been tested wi..

에러 메세지 selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method" : "css selector", "selector" : ".gs_citr"} (Session info: chrome=1.2.3.4); 원인 className = gs_citr의 요소를 찾을 수 없음. Crawler 제작 중에 NoSuchElementException이 간헐적으로 발생하여 대략 데이터 100건 중 2~3건은 전부 값을 읽지 못해 공백으로 insert되는 issue 해결 해결을 위해 따로 공식문서를 찾아보며 공부 진행하였고 포스팅하였음. [Java/Selenium] Selenium..

에러 메세지 및 원인 에러 메세지를 캡처를 못했다.. No Such Element Exception이 발생하며 해당 에러 뒤의 Crawling Data는 전부 Null이 들어왔다. 파싱한 페이지의 Element를 읽어오지 못하는 모양이다. Crawler 제작 시 Selenium을 사용하여 총 click을 세 번 수행하고, 파싱된 페이지들에서 총 5개의 데이터를 Crawling해야 할 일이 있었는데, 해당 에러가 발생한 뒤 부터는 모든 데이터가 NULL로 입력되었다. 해결 Selenium 공식문서를 참조하여 해결했는데, Implicit wait를 활용하여 대기 시간을 10초를 주었었는데 데이터를 하나 가져올 때 마다 쓰레드를 2초 정도 멈춰야 했었고, 그렇기 때문에 대기 시간을 20초로 늘려주는 코드로 변..

에러 메세지 org.openqa.selenium.WebDriverException: java.net.ConnectionException: Failed to connect to localhost/0:0:0:0:0:0:0:1:port 원인 정확한 원인은 모르겠어서 구글링을 아무리 이리저리 해봤으나 해결하지 못했고 위의 사진처럼 저런식으로 IPv4를 받아와서 해결했다는 사람도 있다고 하길래 해봤지만 나는 실패했다. 그거 외엔 아무리 구글링을 해봐도 시도해볼만한 거리가 없어서 고민하던 중에 공식문서를 보게 됐고 The Selenium Browser Automation Project Selenium automates browsers. That's it! www.selenium.dev selenium 사용에 있어 ..