python爬取新闻标题

1.本文以pycharm为编辑器，爬取搜狐新闻的网页信息

2.具体代码如下

import requests
from bs4 import BeautifulSoup
res =requests.get('http://www.sohu.com/c/8/1460')
#防止中文内容乱码
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
#对网页内容进行爬取
#查看网页代码，看标题在哪个位置，本文以搜狐新闻为例，他的标题是在class=news-box里面
for news in soup.select('.news-box'):#获取文本标题
    h4 = news.select('h4')[0].text#获取连接
    a = news.select('a')[0]['href']print(h4,a)

3.注意要先搞清楚自己要的信息在哪里。

python爬取新闻标题相关推荐

Python爬取新闻标题及链接存至 Excel（含源码）
新闻网址: https://www.tsinghua.edu.cn/news.htm 本片文章实现爬取新闻标题和链接将新闻标题及链接存储至 Excel 表源码 # 清华新闻import panda ...
python爬取新闻标题存入文本_Python视频爬虫实现下载头条视频功能示例
本文实例讲述了Python视频爬虫实现下载头条视频功能.分享给大家供大家参考,具体如下: 一.需求分析抓取头条短视频思路: 分析网页源码,查找解析出视频资源url(查看源代码,搜mp4) 对该ur ...
python xpath爬取新闻标题_爬取知乎热榜标题和连接（python，requests，xpath）
用python爬取知乎的热榜,获取标题和链接. 环境和方法:ubantu16.04.python3.requests.xpath 1.用浏览器打开知乎,并登录 2.获取cookie和User-Agen ...
python-代码实战-爬取新闻标题
近期开始学习python,目前以爬虫方向为主,打算在这个过程中通过代码的实践来记录学习过程,顺带当成笔记. 我的第一个完全由自己编写的爬虫代码产生啦! 主要是抓取新闻标题.时间等本次写代码代码用到的 ...
python爬取新闻存入数据库_python 爬取古诗文存入mysql数据库的方法
使用正则提取数据,请求库requests,看代码,在存入数据库时,报错ERROR 1054 (42S22): Unknown column 'title' in 'field list'.原来是我写s ...
requests + bs4爬取新闻标题及内容
一.库的导入 from urllib.request import urlopen from bs4 import BeautifulSoup from urllib import parse imp ...
python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据. 按 F12 或 ctrl+u 审查元 ...
python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
python爬取新闻存入数据库_python爬取数据存入数据库
昨天本来写了一篇关于python爬取的文章,结果没通过,正好今天一起吧.用python同时实现爬取,和存入数据库,算是复习一下前面操作数据库的知识. 1.准备工作既然是爬取,那自然要连接到爬取的页面 ...

python爬取新闻标题

python爬取新闻标题相关推荐

最新文章

热门文章