[Selenium] 네이버 검색순위 크롤링

Selenium을 이용한 네이버 검색순위 크롤링

#네이버 검색순위 크롤링
import requests
from bs4 import BeautifulSoup
import urllib.request
 
# 출력 파일 명
OUTPUT_FILE_NAME = 'output.txt'
url = 'http://www.naver.com'
#메인
def main():
	#저장할 파일 생성
    open_output_file = open(OUTPUT_FILE_NAME, 'w')
    response=requests.get(url)
    html=response.text
    #응답받은 html코드를 BeautifulSoup에 사용하기 위하여 인스턴스 지정
    soup = BeautifulSoup(html, 'html.parser')
    #원하는 태그 지정해서 출력
    for name in soup.select('span[class=ah_k]'):
        print(name.text)
        #파일에 쓸 내용
        open_output_file.write(name.text)
        open_output_file.write('\n')    
    #파일 닫음
    open_output_file.close()
    
 
if __name__ == '__main__':
    main()