beautifulsoup4

[Python] 대한민국 정책브리핑 보도자료 크롤링(SN, BS4, Pd)

1. 대한민국 정책브리핑 정부에서는 매년 수많은 정책들을 발표하는데, 이를 국민들에게 널리 알리기 위해 각 부처마다 홈페이지 및 SNS채널을 운영하고 있습니다. 또한 이러한 정보들을 한곳에 모아둔 사이트가 바로 '대한민국 정책브리핑' 이라는 웹사이트입니다. 각 부처, 지방자치단체 등에서 발행하는 행정 자료들을 열람할 수 있으며, 최신화된 언론보도 또한 확인 할 수 있습니다. https://www.korea.kr/main.do 대한민국 정책브리핑 문화체육관광부 국민소통실 운영, 정책뉴스, 정부 보도자료, 해명자료, 국정과제, 대한민국 정부 소개 등 제공 www.korea.kr 이러한 국가 정책정보포털로서 주요뉴스와 보도자료를 파이썬 크롤링 작업으로 좀더 쉽고 빠르게 보고 싶었습니다. 지난 게시글에서 네이버..

[Python] 네이버뉴스 크롤링 2 (셀레니움, BS4, pandas)

1. 네이버 뉴스 크롤링 환경설정 📌 이전 글 확인하기 더보기 📌1. [Python] 파이썬 개발환경 구축(for. Mac) 📌2. [Python] 파이썬 BeautifulSoup4 설치(for.Mac) 📌3. [Python] 파이썬 Selenium(셀레니움) 설치(for.Mac) 📌4. [Python] 네이버뉴스 크롤링 1 (셀레니움, BS4) 이전 글에서는 네이버 검색창에서 키워드를 입력하고, 뉴스 탭으로 넘어가서 기사의 제목을 불러오는 작업을 하였습니다. 이번 글에서는 키워드와 수집 건수를 설정하고, 제목과 기사링크를 메모장과 엑셀을 자동 저장하는 코드를 알아보겠습니다. 이번 네이버 뉴스 크롤링(스크래핑)에 관한 모듈을 가져오도록 하겠습니다. ➜ Selenium, BeautifulSoup4, tim..

[Python] 네이버뉴스 크롤링 1 (셀레니움, BS4)

1. 웹 크롤링 환경설정 웹페이지 링크 분석을 하면 파싱(Parsing)이 수월해진다. 필요한 모듈 로딩을 위해 아래 코드 블록 입력 (셀레니움, BS4, Time) #Part 1. 모듈 가져오기 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.service import Service from bs4 import BeautifulSoup import time 2. 크롬 드라이버 설정 및 웹 페이지 검색 빅데이터 검색 후 뉴스탭으로 이동 #Part 1. 모듈 가져오기 from sel..

[Python] 파이썬 BeautifulSoup4 설치(for.Mac)

1. Beautifulsoup4 (뷰티풀수프4) 설치 HTML / XML Parser: HTML 과 XML에서 원하는 태그(Tag) 정보를 파싱(Parsing)할 수 있음(웹스크랩핑, 웹크롤링) 크롬 개발자 도구 이용법 먼저 알아야 함 아래 코드 블록을 터미널에 입력하면 설치됨 pip3 install requests pip3 install beautifulsoup4 pip3 install lxml pip3 install urllib3 2. 웹 크롤링(Crawling) 해당 페이지 내용 전부를 가져오는 것 아래 코드 블록을 VSC 터미널에 입력 from urllib.request import Requests, urlopen from bs4 import BeautifulSoup Page = "https://..