스크래핑

[Python] 대한민국 정책브리핑 보도자료 크롤링(SN, BS4, Pd)

1. 대한민국 정책브리핑 정부에서는 매년 수많은 정책들을 발표하는데, 이를 국민들에게 널리 알리기 위해 각 부처마다 홈페이지 및 SNS채널을 운영하고 있습니다. 또한 이러한 정보들을 한곳에 모아둔 사이트가 바로 '대한민국 정책브리핑' 이라는 웹사이트입니다. 각 부처, 지방자치단체 등에서 발행하는 행정 자료들을 열람할 수 있으며, 최신화된 언론보도 또한 확인 할 수 있습니다. https://www.korea.kr/main.do 대한민국 정책브리핑 문화체육관광부 국민소통실 운영, 정책뉴스, 정부 보도자료, 해명자료, 국정과제, 대한민국 정부 소개 등 제공 www.korea.kr 이러한 국가 정책정보포털로서 주요뉴스와 보도자료를 파이썬 크롤링 작업으로 좀더 쉽고 빠르게 보고 싶었습니다. 지난 게시글에서 네이버..

[Python] 네이버뉴스 크롤링 2 (셀레니움, BS4, pandas)

1. 네이버 뉴스 크롤링 환경설정 📌 이전 글 확인하기 더보기 📌1. [Python] 파이썬 개발환경 구축(for. Mac) 📌2. [Python] 파이썬 BeautifulSoup4 설치(for.Mac) 📌3. [Python] 파이썬 Selenium(셀레니움) 설치(for.Mac) 📌4. [Python] 네이버뉴스 크롤링 1 (셀레니움, BS4) 이전 글에서는 네이버 검색창에서 키워드를 입력하고, 뉴스 탭으로 넘어가서 기사의 제목을 불러오는 작업을 하였습니다. 이번 글에서는 키워드와 수집 건수를 설정하고, 제목과 기사링크를 메모장과 엑셀을 자동 저장하는 코드를 알아보겠습니다. 이번 네이버 뉴스 크롤링(스크래핑)에 관한 모듈을 가져오도록 하겠습니다. ➜ Selenium, BeautifulSoup4, tim..

[Python] 파이썬 Selenium(셀레니움) 설치(for.Mac)

1. Selenium (셀레니움) 설치 아래 코드 블록을 터미널에 입력 pip3 install selenium 더보기 ※ 크롬브라우저 버전에 맞는 크롬드라이버 설치 ★ 일일이 매번 실행을 하기보단 ipyhton을 접속하면 코드 한줄한줄 확인하면서 할 수 있음. 2. Selenium 환경설정 필요한 모듈 로딩 작업 아래 코드 블록을 VSC 터미널에 입력 from selenium import webdriver from selenium.webdriver.common.by import By 3. Selenium 크롬드라이버 설정 크롬드라이버 기초 설정 각자 PC환경의 크롬드라이버 경로를 넣어야함 아래 코드 블록을 VSC 터미널에 입력 from selenium import webdriver from seleniu..

[Python] 파이썬 BeautifulSoup4 설치(for.Mac)

1. Beautifulsoup4 (뷰티풀수프4) 설치 HTML / XML Parser: HTML 과 XML에서 원하는 태그(Tag) 정보를 파싱(Parsing)할 수 있음(웹스크랩핑, 웹크롤링) 크롬 개발자 도구 이용법 먼저 알아야 함 아래 코드 블록을 터미널에 입력하면 설치됨 pip3 install requests pip3 install beautifulsoup4 pip3 install lxml pip3 install urllib3 2. 웹 크롤링(Crawling) 해당 페이지 내용 전부를 가져오는 것 아래 코드 블록을 VSC 터미널에 입력 from urllib.request import Requests, urlopen from bs4 import BeautifulSoup Page = "https://..