서론 아래의 포스팅에서, 간단하게 WebDriverManager Library를 사용하여 ChromeDriver.exe를 수동으로 설치하고 버전을 호환시킬 필요가 없는 방법을 알아보았다. [Java/Selenium] WebDriverManager 사용하기 ① - Chrome Verison (org.openqa.selenium.remote.ProtocolHandShake createSession) 에러 메세지 Starting ChromeDriver 113.0.5672.63 (0e1a4471d5ae5bf128b1bd8f4d627c8cbd55f70c-refs/branch-heads/5672@{#912}) on port 42808 Only local connections are allowed. Please se..

서론 요새 계속 크롤러 관련된 포스팅을 진행중인데 크롤러를 만들어야 할 일이 있는데 하필 대상이 대형 포털이기 때문에 시간이 좀 많이 걸리는 것 같다. 특히 대형 포털의 경우 같은 IP라고 인식하는 규칙이 존재하는 것 같고 같은 사용자라 판단될 때 요청이 많이 오는 경우 일정시간 차단해버린다던가 아예 차단해버린다던가 하는 경우가 있기 때문에.. 나의 경우 한번 밴 당하면 24시간 대기해야하기 때문에, 24시간 동안 내가 만들어나가는 크롤러에 대한 테스트가 불가능해서 벌써 작업이 4주 가까이 진행되는 것 같다.. 나의 경우 다른 OS에서 application을 run 시키는 일이 처음이었기 때문에.... 아니, 애초에 타 OS를 사용하는 경험이 처음이었기 때문에. 복기를 해보자 한다. 에러 메세지 cann..

에러 메세지 Starting ChromeDriver 113.0.5672.63 (0e1a4471d5ae5bf128b1bd8f4d627c8cbd55f70c-refs/branch-heads/5672@{#912}) on port 42808 Only local connections are allowed. Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe. ChromeDriver was started successfully. [1686528899.643][WARNING]: This version of ChromeDriver has not been tested wi..

에러 메세지 오류 : 기본 클래스 path 을(를) 찾거나 로드할 수 없습니다. 원인 클래스가 프로젝트에 없거나 패키지 구조가 잘못된 경우 등 경로 탐색 불가 컴파일 혹은 빌드 실패 해결 해본 방법들.. 1. 이클립스 재실행 - 실패 2. 환경 변수 설정 - 실패 - CLASSPATH의 %JAVA_HOME%\lib를 %JAVA_HOME%\lib;.; 로 변경 3. Project > Properties > Run/Debug Settings 모두 삭제 - 실패 4. Project > Clean 혹은 CMD에서 eclipse폴더에서 eclipse.exe -clean - 실패 5. 패키지 최상단에 해당 클래스 옮겨서 실행 - 실패 6. Run > Run Configurations > Classpath > Use..

현재 Google에서 동작하는 Crawler을 제작 중인데 계속 reCAPTCHA에 막혀 고생.. 혹시 다음에도 Crawler를 만들 수도 있을까 하는 생각에 간략한 해결 방안과 노력의 여정을 남기는.. 기존 방법 reCAPTCHA를 최대한 발생시키지 않게 하기위한 노력들 첫번째 방법 Crawler제작 시 단순 thread.sleep이나, 파싱하는 페이지 별로 텀을 주고 페이지 내부에서도 클릭과 같은 요청 시에도 텀을 줬다. 결과 : 7일 정도 Crawler가 지속되다가 reCAPTCHA가 발생하였으며, 그 뒤로는 3~4시간에 한번꼴로 발생. 두번째 방법 첫번째 방법은 텀을 ms단위의 절대값으로 계속 입력했었다 (ex) 1200000ms random 알고리즘을 간단하게 만들어서 적용시킴 1. 텀의 범위 ..

에러 메세지 selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method" : "css selector", "selector" : ".gs_citr"} (Session info: chrome=1.2.3.4); 원인 className = gs_citr의 요소를 찾을 수 없음. Crawler 제작 중에 NoSuchElementException이 간헐적으로 발생하여 대략 데이터 100건 중 2~3건은 전부 값을 읽지 못해 공백으로 insert되는 issue 해결 해결을 위해 따로 공식문서를 찾아보며 공부 진행하였고 포스팅하였음. [Java/Selenium] Selenium..

서론 요새 프로그래머스가 잠잠해져서 LeetCode 외에도 HackerRank라는 플랫폼에서도 코테문제를 풀고있는데, 얼른 플랫폼에 적응해서 적당한 난이도의 문제를 풀고 포스팅 하고 싶다 HackerRank - Online Coding Tests and Technical Interviews HackerRank is the market-leading technical assessment and remote interview solution for hiring developers. Start hiring at the pace of innovation! www.hackerrank.com 서론이 이상하게 흘러갔는데 여튼, 백준처럼 직접 입력받아 출력해야하는 포맷의 HackerRank인 만큼, 입출력에 대한 공부..

에러 메세지 및 원인 에러 메세지를 캡처를 못했다.. No Such Element Exception이 발생하며 해당 에러 뒤의 Crawling Data는 전부 Null이 들어왔다. 파싱한 페이지의 Element를 읽어오지 못하는 모양이다. Crawler 제작 시 Selenium을 사용하여 총 click을 세 번 수행하고, 파싱된 페이지들에서 총 5개의 데이터를 Crawling해야 할 일이 있었는데, 해당 에러가 발생한 뒤 부터는 모든 데이터가 NULL로 입력되었다. 해결 Selenium 공식문서를 참조하여 해결했는데, Implicit wait를 활용하여 대기 시간을 10초를 주었었는데 데이터를 하나 가져올 때 마다 쓰레드를 2초 정도 멈춰야 했었고, 그렇기 때문에 대기 시간을 20초로 늘려주는 코드로 변..