크롤링 - 키움증권 (2)

오늘은 다른 셀레니움으로만 크롤링을 해보려고 해요

바로 시작할게요

 

https://taehyuck.tistory.com/1

크롤링-키움증권 고객문의

 

driver.get(url)

 

크롤링 할 페이지를 바라보게 하고요

 

content = tr.find_element(By.CSS_SELECTOR, ".notice-title").click()

 

각 질문들의 상세페이지에 들어가 봅시다

 

content = driver.find_element(By.CSS_SELECTOR,"#dtlCntn").text
driver.back()

 

내용을 추출하고 상세페이지에서 나가줬어요

 

for tr in trs:
    post_id = tr.find_element(By.CSS_SELECTOR, "td:nth-of-type(1)").text

    #글 번호가 있다면
    if post_id != '':
        title = tr.find_element(By.CSS_SELECTOR, ".notice-title").text

        # 새글 이라면 마지막 N삭제
        new_icon = tr.find_elements(By.CSS_SELECTOR,".icon-new")
        if new_icon:
            title = title[:-1]

        date = tr.find_element(By.CSS_SELECTOR, "td:nth-of-type(5)").text
        content = tr.find_element(By.CSS_SELECTOR, ".notice-title").click()
        time.sleep(1)
        content = driver.find_element(By.CSS_SELECTOR,"#dtlCntn").text
        driver.back()
        print(title, date, content,sep='\n')
        print('=' * 20)

 

이제 자동화를 시키려고 하니

 

!!!!

 

 

보니까 태그를 못 찾는 거 같더라구요

 

열심히 한 번 코드를 한줄한줄 읽어 봤어요

driver가 다른페이지를 바라보다가 다시 돌아오면서 초기화가 된 거 같아요

 

company = driver_sub.find_element(By.CSS_SELECTOR, ".company")

 

새창에서 열어서 하려 했지만 

해당 사이트에서는 새창열기를 막아뒀더군요ㅜㅜ

 

어쩔 수 없이 다른 방법을 사용해야겠어요

 

 

이런 식으로 전체 개수로 이용해 봤는데 잘 실행이 됐어요ㅎㅎ

 

뭔가 해결은 했지만 찝찝 하네요,,,

 

마지막으로 driver를 조작한 다음에는 텀을 주고 다음 코드를 실행 시켜주는 것이 좋은 거 같아요

안그러면 조작중에 코드가 실행이 되어서 제대로 못 읽는 경우가 발생하더라구요