用requests包爬取今日头条新闻标题

全码如下：

# requests
# 用来发送url（请求request），获取服务器响应
import requests
import json
if __name__ == '__main__':# 1.目标 url（域名[ip + port]+请求）headers = {"user - agent": "Mozilla / 5.0(Windows NT 10.0; Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 80.0.3987.132Safari / 537.36"}url ="https://www.toutiao.com/api/pc/realtime_news/"# 2.发送请求，获取服务器响应的数据response = requests.get(url, headers=headers)results = response.text # 获取json# 3.通过解码将json数据改为dict数据resultsdata = json.loads(results)# 将标题全部取出 resultsdata["data"] ---列表[字典]for data in resultsdata["data"]:print(data["title"])

输出的结果：

在查看网页时，需要注意的地方：

其中需要用到 json 转换工具：bejson
将得到的 json 数据通过 bejson 进行转换，找到需要的数据：

用requests包爬取今日头条新闻标题相关推荐

利用搜索关键字爬取今日头条新闻评论信息案例
利用搜索关键字爬取今日头条新闻评论信息案例爬虫4步骤: 1.分析网页 2.对网页发送请求,获取响应 3.提取解析数据 4.保存数据本案例所用到的模块 import requests import ...
Python的Requests来爬取今日头条的图片和文章
Python的Requests来爬取今日头条的图片和文章并且存入mongo config.py MONGO_HOST = 'localhost' MONGO_PORT = 27017 MONGO_DB ...
小福利，爬取今日头条新闻信息
大家好,我是天空之城,今天给大家带来小福利,爬取今日头条新闻信息话不多说,代码如下 import requestsheaders={'user-agent':'Mozilla/5.0 (Macint ...
爬取今日头条新闻selenium
from selenium import webdriver, common import time # 爬取今日头条的新闻 browser = webdriver.Chrome() browser. ...
爬取今日头条搜索标题
# 加载模块 import requests from fake_useragent import UserAgent import timeclass Sousuo():def __init__(s ...
Python爬虫：爬取今日头条“街拍”图片（修改版）
前言在参考<Python3网络爬虫开发实战>学习爬虫时,练习项目中使用 requests ajax 爬取今日头条的"街拍"图片,发现书上的源代码有些已经不适合现在了, ...
Python3从零开始爬取今日头条的新闻【一、开发环境搭建】
Python3从零开始爬取今日头条的新闻[一.开发环境搭建] Python3从零开始爬取今日头条的新闻[二.首页热点新闻抓取] Python3从零开始爬取今日头条的新闻[三.滚动到底自动加载] Pyt ...
python抽取指定url页面的title_Python使用scrapy爬虫，爬取今日头条首页推荐新闻
爬取今日头条https://www.toutiao.com/首页推荐的新闻,打开网址得到如下界面查看源代码你会发现全是js代码,说明今日头条的内容是通过js动态生成的. 用火狐浏览器F12查看得知 ...
Python3从零开始爬取今日头条的新闻【五、解析头条视频真实播放地址并自动下载】
Python3从零开始爬取今日头条的新闻[一.开发环境搭建] Python3从零开始爬取今日头条的新闻[二.首页热点新闻抓取] Python3从零开始爬取今日头条的新闻[三.滚动到底自动加载] Pyt ...

用requests包爬取今日头条新闻标题

用requests包爬取今日头条新闻标题相关推荐

最新文章

热门文章