네이버증권 국내주식 테마 크롤링: (1)테마 번호 수집

import time
import pandas as pd
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
import re  # 정규식을 이용해 숫자 추출

# Chrome 옵션 설정
options = Options()
options.add_experimental_option("excludeSwitches", ["enable-logging"])
driver = webdriver.Chrome(service=Service(), options=options)

# URL 기본 설정
base_url = "https://finance.naver.com/sise/theme.naver?&page="

# 데이터를 저장할 리스트 초기화
data = []

# 페이지 순회 (1부터 8까지)
for page in range(1, 9):
    # 각 페이지 URL로 이동
    driver.get(base_url + str(page))
    time.sleep(2)  # 페이지 로딩 대기
    
    # 페이지별로 `tr` 행 범위 설정
    tr_start = 4
    tr_end = 23 if page == 8 else 64
    
    # 각 `tr` 행 순회
    for tr_index in range(tr_start, tr_end + 1):
        try:
            # XPath로 `a` 태그 찾기
            link_xpath = f'//*[@id="contentarea_left"]/table[1]/tbody/tr[{tr_index}]/td[1]/a'
            link = driver.find_element(By.XPATH, link_xpath)
            
            # 링크가 존재할 경우 테마명과 URL 추출
            theme_name = link.text.strip()
            theme_url = link.get_attribute('href')
            
            # URL 끝의 숫자를 추출하여 theme_num에 저장
            theme_num = re.search(r'\d+$', theme_url).group()
            
            print(f"페이지 {page}, 행 {tr_index} - 테마명: {theme_name}, URL: {theme_url}, 테마 번호: {theme_num}")
            
            # 데이터 리스트에 추가
            data.append({"테마명": theme_name, "URL": theme_url, "theme_num": theme_num})
        
        except Exception as e:
            print(f"페이지 {page}, 행 {tr_index} - 요소를 찾을 수 없습니다:", e)

# 브라우저 닫기
driver.quit()

# DataFrame으로 변환하고 CSV로 저장
df = pd.DataFrame(data)
df.to_csv("theme_data.csv", index=False, encoding="utf-8-sig")
print("CSV 파일이 저장되었습니다: theme_data.csv")