python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库

本人是菜鸟一枚，学了python爬虫有一段时间了，想找个网站练练手，网上搜索今日头条是动态加载的页面，用requests库，需要破as:A175DBDFDEC7024
cp: 5BFE87208254DE1，_signature: 4P9lsBAcuwy3yC3rgtk6COD.Za，这些参数都是加密处理的，破解有一定的难度，但是有selenium驱动chrom浏览器就比较好爬取了。

一，准备
1，需要安装好python3，并配置好开发坏境，可以去官网下载安装，官网：https://www.python.org/downloads/
2。下载好chrom浏览器，并下载好对应的驱动，我用的pycharm开发工具，可以自行选择。chrom驱动下载地址：http://chromedriver.storage.googleapis.com/index.html
3，mongodb下载官网：https://www.mongodb.com/download-center
安装过程这里就不在赘述了，百度搜索就可以的。
二，实现过程
1，打开ychrom新建一个python文件，导入需要的库

from selenium import webdriver #导入web驱动库
import time #导入时间库
import pymongo#monggo #导入数据库

2，因为获取的数据需要保存到mongodb数据库中，所以可以先连接数据库

 链接数据库
client = pymongo.MongoClient() #链接数据库
db =client['db'] #设置数据库名
toutiao =db['toutiao'] #设置集合名

3，

#启动webdrive
base_url ='https://www.toutiao.com'
brower =webdriver.Chrome()
brower.get(base_url)
brower.implicitly_wait(10)
brower.maximize_window() # 最大化窗口
brower.implicitly_wait(10)
brower.find_element_by_link_text('热点').click()
brower.implicitly_wait(10)

4，用selenium自带的find_elements_by_xpath()方法获取页面需要的元素，这里我们获取新闻的标题title，详情页面的链接url,发布者source,评论总数comment

def get_info():titles= brower.find_elements_by_xpath('//div[@class="title-box"]/a')for title in titles:title_list.append(title.text)urls = brower.find_elements_by_xpath('//div[@class="title-box"]/a')for url in urls:url = url.get_attribute('href')url_list.append(url)sources = brower.find_elements_by_xpath('//a[@class="lbtn source"]')for source in sources:sources_list.append(source.text)comments =brower.find_elements_by_xpath('//a[@class="lbtn comment"]')for comment in comments:comments_list.append(comment.text)

5,因为今日头条是用ajax动态加载的，浏览器向下拉的过程中，页面会一直在下面加载出来，可以通过execute_script(“window.scrollTo();”)功能模拟浏览器下拉页面刷新数据

def get_manyinfo():brower.execute_script("window.scrollTo(0,1000);")time.sleep(1)while len(title_list) < 100:for i in range(30):brower.execute_script("window.scrollTo(0,document.body.scrollHeight);")time.sleep(3)get_info()brower.refresh()else:brower.close()

6，设计保存到数据库中，用zip()函数匹配title，url，source, comment,保存为字典格式，然后将字典保存到数据库中

def save_info():infos = zip(title_list, url_list, sources_list, comments_list)for info in infos:data={'标题': info[0],'url': info[1],'来源': info[2],'评论': info[3]}#result =db['toutiao'].insert_one(data)print(data)print('数据写入成功')

三，完整代码

from selenium import webdriver
import time
import pymongo# 链接数据库
client = pymongo.MongoClient() #链接数据库
db =client['db'] #设置数据库名
toutiao =db['toutiao'] #设置集合名#启动webdrive
base_url ='https://www.toutiao.com'
brower =webdriver.Chrome()
brower.get(base_url)
brower.implicitly_wait(10)
brower.maximize_window() # 最大化窗口
brower.implicitly_wait(10)
brower.find_element_by_link_text('热点').click()
brower.implicitly_wait(10)title_list,url_list,sources_list,comments_list=[],[],[],[]
# 获取页面新闻标题，详情页面链接，来源，评论，并添加到列表中
def get_info():titles= brower.find_elements_by_xpath('//div[@class="title-box"]/a')for title in titles:title_list.append(title.text)urls = brower.find_elements_by_xpath('//div[@class="title-box"]/a')for url in urls:url = url.get_attribute('href')url_list.append(url)sources = brower.find_elements_by_xpath('//a[@class="lbtn source"]')for source in sources:sources_list.append(source.text)comments =brower.find_elements_by_xpath('//a[@class="lbtn comment"]')for comment in comments:comments_list.append(comment.text)# 通过下拉进度条一直加载页面
def get_manyinfo():brower.execute_script("window.scrollTo(0,1000);")time.sleep(1)while len(title_list) < 100:for i in range(30):brower.execute_script("window.scrollTo(0,document.body.scrollHeight);")time.sleep(3)get_info()brower.refresh()else:brower.close()# 保存获取的信息保存到monggodb中
def save_info():infos = zip(title_list, url_list, sources_list, comments_list)for info in infos:data={'标题': info[0],'url': info[1],'来源': info[2],'评论': info[3]}result =db['toutiao'].insert_one(data)print(data)print('数据写入成功')def main():get_manyinfo()save_info()if __name__=="__main__":main()

四，最后的效果，由于是新手，代码都是自己写的，可以参考一下，代码和功能肯定不是很完善，希望大佬多多指正啊。

python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库相关推荐

python爬虫今日头条_python 简单爬取今日头条热点新闻(
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
python爬虫爬取今日头条_python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
python爬虫今日头条_python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
python编程100例头条-python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
python 头条上传_python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
python 爬取今日头条热点新闻
嗯,今天就让我们来一起爬爬今日头条的热点新闻吧! 今日头条地址:https://www.toutiao.com/ch/news_hot/ 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模 ...
Python爬虫从入门到精通——爬虫实战：爬取今日头条图片新闻
分类目录:<Python爬虫从入门到精通>总目录本文为实战篇,需提前学习Python爬虫从入门到精通中<基本库requests的使用>和<Ajax数据爬取(一):基本原 ...
python爬取今日头条热点新闻事件,Python爬虫实战入门五：获取JS动态内容—爬取今日头条...
之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的. 有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成 ...
动态渲染页面的爬取（项目案例：爬取今日头条热点新闻）
声明:本文内容来自张涛的<从零开始学Scrapy网络爬虫> 在使用Selenium的过程中,我们驱动的都是Chrome.FireFox等有界面的浏览器,效率极低.对爬虫来说,只要能高效地 ...

python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库

python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库相关推荐

最新文章

热门文章