python爬虫实例-记录一次简单的Python爬虫实例

本次的这篇文章主要是和大家分享了一篇关于记录一次简单的Python爬虫实例，有需要的小伙伴可以看一下。

主要流程分为：

爬取、整理、存储

1.其中用到几个包，包括

requests 用于向网站发送请求，并获得网页代码

BeautifulSoup4 用于处理获得的网页代码，提取有效信息

pandas 用于存储信息

其中在to_excel("docname.xlsx’)时，可能去要另外的包 openpyxlimport requests

from bs4 import BeautifulSoup

import re

import json

import pandas

import excel

import sqlite3

# import openpyxl

2.以爬取新浪网址中各个新闻的责任编辑为例子

可以按照倒推的方式确定def的functions

获取到了当条新闻下的网页网址后，如何获得责任编辑？

def getComments(url):

# 向url对应网址发送请求，获取到的网页内容存储在res中

res=requests.get(url)

# 将res内容编码，编码的方式'utf-8'根据网页的charset而定

res.encoding='utf-8'

# 因为需要处理res，因此将文本存入soup

# html.parser不清楚是干嘛的

soup=BeautifulSoup(res.text,'html.parser')

# 根据所需要的内容，通过BS4的select选择，得到数组，用[0]取出元素

# 因为是文本所以直接通过.text得到所需要的内容

return soup.select('.show_author')[0].text

# 在soup.select('.link')[0]中，若为id则带#

# 若为class则带.

# 其他的如a和h1等则无要求

#其中需要层层select并取[0]

#有些有多元素，则需通过for遍历

ii) 根据主页面如何获得各条新闻网页的网址

某行文件是在json中发现，因此通过comments=requests.get("url’)再

jd=json.loads(comments.text.strip("var data="))

jd=["result’]["count’]["total’] ==>这里为字典中的字典，可以从网页检查元素的preview中查看

==>可转化为字典

其中要恢复成字典，左右两头多出了什么就要通过strip()去除

有些需要分左右侧分别删除则通过lstrip()与rstrip(),即left和right

==>for ent in ～：

ent["url’]

***) soup.select()到的所需元素在同一个类中，则可以使用contents[0]区分

***）time与str间的转换from datetime import date time

Str==>time dt=datetime.strptime(timesource,’%Y%m%d’)

time==>Str dt.strftime("%Y-%m-%d’)

***) 将list[]各元素连接"-".join(list) #将list中的各元素以-方式连接

"’.join([p.text.strip() for p in soup.select("#artibody p’)[:-1]])

***) 对于有多页的网址，则需要找到page对应部分改为{}，

然后通过format()进行替换news_total=[]

for i in range(1,3):

newsurl=url.format(i)

newsary=parseListlink(newsurl)

new_total.extend(newsary)

3. 使用pandas存储数据，其中是DataFrame()功能函数df=pandas.DataFrame(list)

print(df.head(20)) #显示前20条信息

df.to_excel('news.xlsx') #转存为excel格式，名字为news.xlsx

其中list的格式为for u in geturl(url):

excel1 = [] # 循环开始清空数组

result = {} # 循环开始清空字典

try:

# 每个条目在新字典赋值

result['zeren']=getComments(u)

result['id']=i

i=i+1

except:

continue

#每个条目形成数组

excel1.append(result)

#在列表中添加数组

list.extend(excel1)

4. 存储数据库df=pandas.DataFrame(list)

print(df.head(20)) #显示前20条信息

# df.to_excel('news.xlsx') #转存为excel格式，名字为news.xlsx

with sqlite3.connect('news.sqlite') as db:

# 存入news.sqlite文件中的news表格

df.to_sql('news',con=db)

# 读取/查询news表格并将数据赋值给df2

df2=pandas.read_sql_query('SELECT * FROM news',con=db)

以上就是记录一次简单的Python爬虫实例的详细内容，更多请关注php中文网其它相关文章！

本文原创发布php中文网，转载请注明出处，感谢您的尊重！

python爬虫实例-记录一次简单的Python爬虫实例相关推荐

python web游戏实例_python实现的简单文本类游戏实例
Python应用与实践 Python应用与实践目录 1. Python是什么? 1.1. Python语言 1.2. Python哲学 2. Python在工 ...
用python实现视频换脸_超简单使用Python换脸实例
换脸! 这段时间,deepfakes搞得火热,比方说把<射雕英雄传>里的朱茵换成了杨幂,看下面的图!毫无违和感! 其实早在之前,基于AI换脸的技术就得到了应用,比方说<速度与激情7& ...
python协同过滤调用包_简单的python协同过滤程序实例代码
本文研究的主要是python协同过滤程序的相关内容,具体介绍如下. 关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那么通常的做法就是问问周围的朋友,看看 ...
Python爬虫入门教程：超级简单的Python爬虫教程
这是一篇详细介绍 [Python]爬虫入门的教程,从实战出发,适合初学者.读者只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python 爬虫. 这篇 Python 爬 ...
如何搭建python框架_从零开始:写一个简单的Python框架
原标题:从零开始:写一个简单的Python框架 Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发. 你为什么想搭建一个Web框架?我想有下面几个原因: 有一个 ...
python函数分几种_简单了解Python中的几种函数
python是支持多种范型的语言,可以进行所谓函数式编程,其突出体现在有这么几个函数: filter.map.reduce.lambda.yield lambda lambda函数的使用方法:在lam ...
python字符串前面加上序号_简单了解python字符串前面加r,u的含义
这篇文章主要介绍了简单了解python字符串前面加r,u的含义,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 u/U:表示unicode字符串不是 ...
python 基因序列提取_科学网—简单的Python脚本提取对应位置基因序列（fasta文件） - 王彬忠的博文...
最近,用Python脚本提取,在基因号已知,位置已知条件下,相对应位置的基因序列时发现,这样很简单但是很实用的脚本,在网上却比较难找.而且,能被找到的脚本,相对于具有初级编程能力的人而言,有点难.本人 ...
python人脸识别系统下载_简单的Python人脸识别系统
案例一导入图片思路: 1.导入库 2.加载图片 3.创建窗口 4.显示图片 5.暂停窗口 6.关闭窗口 # 1.导入库 import cv2 # 2.加载图片 img = cv2.imread(' ...

python爬虫实例-记录一次简单的Python爬虫实例

python爬虫实例-记录一次简单的Python爬虫实例相关推荐

最新文章

热门文章