Python爬虫学习获取腾讯新闻并存入Csv文件

with open('09_腾讯新闻.csv','a+') as f: 这样子写入的话产生的csv文件每行后面都会多一条空行，添加newline=''即可消除空行；

即with open('09_腾讯新闻.csv','a+',newline='') as f:

import requests
import json
import csv
import osheaders={'referer': 'https://news.qq.com/','user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}def getPage(url):try:re=requests.get(url,headers=headers)re.encoding=re.apparent_encodingreturn json.loads(re.text)except:print(re.status_code)# 获取新闻
def parse_news(text):global rows # 声明rows为全局变量try:content=text['data']['list']    # 热点精选except:content = text['data']  # 今日要闻和今日话题for item in content:source=item['url']title=item['title']rows.append((title,source))if __name__ == '__main__':today_news_url='https://i.news.qq.com/trpc.qqnews_web.pc_base_srv.base_http_proxy/NinjaPageContentSync?pull_urls=news_top_2018'today_topic_url='https://i.news.qq.com/trpc.qqnews_web.pc_base_srv.base_http_proxy/NinjaPageContentSync?pull_urls=today_topic_2018'rows=[]# 获取今日要闻print("开始获取今日要闻>>>")rows.append(('以下为今日要闻',''))today_news=getPage(today_news_url)parse_news(today_news)print("...今日要闻获取完毕")# 获取今日话题print("开始获取今日话题>>>")rows.append(('以下为今日话题',''))today_topic=getPage(today_topic_url)parse_news(today_topic)print("...今日话题获取完毕")# 热点精选page = int(input("请输入你想获得的热点精选页数："))print("开始获取热点精选>>>")rows.append(('以下为热点精选',''))for i in range(page):hot_news_url = 'https://i.news.qq.com/trpc.qqnews_web.kv_srv.kv_srv_http_proxy/list?sub_srv_id=24hours&srv_id=pc&offset=' + str(i*20) + '&limit=20&strategy=1&ext={%22pool%22:[%22top%22],%22is_filter%22:7,%22check_type%22:true}'hot_news=getPage(hot_news_url)parse_news(hot_news)print("...第%d页获取完毕"%(i+1))with open('09_腾讯新闻.csv','a+',newline='') as f:  # newline=''可以消除每行后面的空行Csv_book=csv.writer(f)Csv_book.writerows(rows)print("保存完毕！路径为{}\\09_腾讯新闻.csv".format(os.getcwd()))

Python爬虫学习获取腾讯新闻并存入Csv文件相关推荐

Python爬虫学习获取腾讯新闻并存入Excel
import requests import json import xlwt import osheaders={'referer': 'https://news.qq.com/','user-ag ...
Python爬虫学习笔记-第六课(正则表达式下+csv模块的使用)
正则表达式下+csv模块的使用 1. re模块方法补充 1.1 compile()方法 1.2 search()和findall()方法 1.3 split()方法 1.4 sub()方法 2. re ...
利用python爬虫大量基金股票的净值写入到csv文件中方便做其他计算
最近公司同事有一个需求就是能够一键抓到股票基金的净值,然后自己做运算,然后空闲时间给他写了个脚本,可能有的人会说python有第三方解析html,但是考虑到给别人用的复杂性,所以这里完全用正则表达式解 ...
python xpath爬取豆瓣图书Top 250存入csv文件并解决csv乱码问题
我上次分享过关于爬取豆瓣电影top250的实战:BeautifulSoup爬取豆瓣电影top250信息和 python BeautifulSoup爬取豆瓣电影top250信息并写入Excel表格 , ...
python 爬虫爬取腾讯新闻科技类的企鹅智酷系列（1）
废话不多说,直接贴代码,主要采用BeautifulSoup写的 #coding:utf8from bs4 import BeautifulSoup import urllib2 import urll ...
从入门到入土：Python爬虫学习|实例练手|详细讲解|爬取腾讯招聘网|一步一步分析|异步加载|初级难度反扒处理|寻找消失的API来找工作吧
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python爬虫学习手册
like:128-Python 爬取落网音乐 like:127-[图文详解]python爬虫实战--5分钟做个图片自动下载器 like:97-用Python写一个简单的微博爬虫 like:87-爬虫抓 ...
python爬虫正则表达式实例-python爬虫学习三：python正则表达式
python爬虫学习三:python正则表达式 1.正则表达式基础 a.正则表达式的大致匹配过程: 1.依次拿出表达式和文本中的字符比较 2.如果每一个字符都能匹配,则匹配成功:一旦有匹配不成功的字符 ...

Python爬虫学习获取腾讯新闻并存入Csv文件

Python爬虫学习获取腾讯新闻并存入Csv文件相关推荐

最新文章

热门文章