서론 요새 계속 크롤러 관련된 포스팅을 진행중인데 크롤러를 만들어야 할 일이 있는데 하필 대상이 대형 포털이기 때문에 시간이 좀 많이 걸리는 것 같다. 특히 대형 포털의 경우 같은 IP라고 인식하는 규칙이 존재하는 것 같고 같은 사용자라 판단될 때 요청이 많이 오는 경우 일정시간 차단해버린다던가 아예 차단해버린다던가 하는 경우가 있기 때문에.. 나의 경우 한번 밴 당하면 24시간 대기해야하기 때문에, 24시간 동안 내가 만들어나가는 크롤러에 대한 테스트가 불가능해서 벌써 작업이 4주 가까이 진행되는 것 같다.. 나의 경우 다른 OS에서 application을 run 시키는 일이 처음이었기 때문에.... 아니, 애초에 타 OS를 사용하는 경험이 처음이었기 때문에. 복기를 해보자 한다. 에러 메세지 cann..