用python写一个简单的爬虫_用Python编写一个简单的爬虫

作者信息：

Author : 黄志成(小黄)

博客地址: 博客

呐，这是一篇福利教程.为什么这么说呢.我们要爬取的内容是美图网站(嘿嘿，老司机都懂的)

废话不多说.开始今天的表演.

这个图集网站不要问我怎么来的.绝对不是我刻意找的.（其实是看了别的发的一篇文章,就想自己动手实现一下）

我们今天的任务就是将这些图集保存下来。

首先我们需要获取到所有的列表，我们往下拉动滚动条,拉到底,会继续自动加载内容,我们通过浏览器的NetWork可以发现请求的数据包

我们来分析一下这个数据包

URL：https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E6%B8%85%E7%BA%AF%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=3&from=gallery

通过url我们可以知道几个重要的参数

offset 偏移量

count 数量

cur_tab 当前分类

这里很多朋友可能对偏移量不太了解,这里我用sql语句表示一下,如果了解sql的朋友肯定就知道了

mysql> SELECT * FROM art LIMIT offset , count

mysql> SELECT * FROM table LIMIT 5,10; // 检索记录行 6-15

mysql> SELECT * FROM table LIMIT 95,1; // 检索记录行 96

这里我每次读取一条,对一条进行操作.

URL：https://www.toutiao.com/search_content/?offset=1&format=json&keyword=%E6%B8%85%E7%BA%AF%E7%BE%8E%E5%A5%B3&autoload=true&count=1&cur_tab=3&from=gallery

每次对offset 进行自增即可了

我们点击进去看看数据的结构.

我们需要获取到该图集的链接。

进入这篇图集,在NetWork中并没有发现图集有关的请求接口,可能也是混排的.

我们可以查看页面的源码

原来真的是混排的写法.看了一下这里用到vue.具体怎么实现的我们不去探讨了,我们只需要取出数据即可。

那如何取出呢? 提供两种方法,一种就是正则,一种就是自己写一个取文本的函数.这里我用第二种作为演示,下面是取文本的函数.

def txt_wrap_by(start_str, end, html):

start = html.find(start_str)

if start >= 0:

start += len(start_str)

end = html.find(end, start)

if end >= 0:

return html[start:end].strip()

我们取出 JSON.parse("") 中的数据

观察数据,可以发现我们取出 url 就可以了,这里的数据是json但是被转义了,我们就通过正则取出吧

正则的语法如图上,最后我也会放出所有代码滴,大家放心.

然后保存为图片即可~

上面说的都是思路,最后放出代码~

import requests,os,json,re,datetime

# 主函数

def main():

foreach_art_list()

def foreach_art_list():

# 判断目录下是否存在jilv.txt文件如果存在则读取里面的数值

if os.path.exists('./jilv.txt'):

f = open('./jilv.txt')

n = f.read()

n = int(n)

f.close()

else:

n = 1

while True:

url = 'http://www.toutiao.com/search_content/?offset=' + str(n) + '&format=json&keyword=%E6%B8%85%E7%BA%AF%E7%BE%8E%E5%A5%B3&autoload=true&count=1&cur_tab=3&from=gallery'

re = requests.get(url)

data = re.json()['data']

if not data:

break

# 运行图片下载函数

download_pic(data[0]['article_url'],n)

n = n+1

# 将n写入文件防止程序运行出错可以继续运行

with open('./jilv.txt', 'w') as f:

f.write(str(n))

def download_pic(url,n):

download_pic_url = 'http://p3.pstatp.com/'

# 这里必须带上协议头,否则会请求失败

header = {

'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'

}

res = requests.get(url,headers = header)

content = res.text

img_list_json = txt_wrap_by('gallery: JSON.parse("','"),',content)

# 正则获取所有的uri

img_list = re.findall(r'uri\\":\\"(.*?)\\"',img_list_json)

#判断是否有此目录

if 'img' not in os.listdir('.'):

os.mkdir('./img')

if str(n) not in os.listdir('./img'):

os.mkdir('./img/'+str(n))

for v in img_list:

img_path = download_pic_url + v

img_path = img_path.replace("\\", "")

# 读取图片

atlas = requests.get(img_path).content

# 保存图片

with open( './img/' + str(n) + '/' + str(datetime.datetime.now()) +'.jpg', 'wb') as f: # 把图片写入文件内

f.write(atlas)

# 取出两个文本之间的内容

def txt_wrap_by(start_str, end, html):

start = html.find(start_str)

if start >= 0:

start += len(start_str)

end = html.find(end, start)

if end >= 0:

return html[start:end].strip()

# 运行程序

main()

最后展示一下运行结果：

这个程序还有许多不完善的地方,我会在之后教程加入 redis 和多线程的写法,让他成为最快的爬虫~

敬请期待~ 今天就到这里了. 又是周末！祝大家周末愉快。嘿嘿~ 看我的美图去了。

用python写一个简单的爬虫_用Python编写一个简单的爬虫相关推荐

python 写数据库几万条_使用 Python 处理3万多条数据只要几秒钟
应用场景:工作中经常遇到大量的数据需要整合.去重.按照特定格式导出等情况.如果用 Excel 操作,不仅费时费力,还不准确,有么有更高效的解决方案呢? 本文以17个 txt 文本,3万多条数据为例,使 ...
python写打开的excel 冲突_在Python中打开excel文件时出错
嗨,我对python很陌生,这里我试图用python代码打开xls文件,但它显示了一些错误,如下所示.在代码:from xlrd import open_workbook import os.pat ...
用python写个程序送给女朋友_用 Python 哄女朋友开心！你觉得可行嘛?
有趣的程序媛返回主页头条号发文规范文章微头条图集小视频问答下划线代码块备注 19 / 30 有了女朋友,可相处起来总是磕磕碰碰. 有时候,很想关心她,但是你太忙了,以至于她一直抱怨, ...
用python写脚本筛选原创微博_基于python编写的微博应用
本文实例讲述了基于python编写的微博应用,分享给大家供大家参考.具体如下: 在编写自己的微博应用之前,先要到weibo开放平台申请应用的公钥和私钥. 下载python版的SDK,打开example ...
python写dnf游戏脚本辅助_利用Python自动化操作鼠标键盘刷金币，工作室都靠这种脚本搬砖！...
不管是英雄联盟还是王者荣耀,总是有一个特殊的模式可以用来刷金币,为什么说是特殊模式呢?因为打的都是人机,或者并不影响游戏平衡,被其它玩家举报,同时你这种模式的战绩也没人去看你的. 如果能利用Pytho ...
python写五子棋游戏下载大全_用Python写五子棋游戏
开端开端画棋盘首先肯定是要画出棋盘来,用pygame画出一个 19 × 19 或 15 × 15 的棋盘并不是什么难事,这在之前的文章中已经多次用到,就不赘述了. 画棋子需要说一下的是画棋子, ...
python写手机脚本脱离电脑_让Python在Android系统上飞一会儿:第三节在电脑上编写程序在手机上运行...
本节目录 1. 一些传统的方法2. 将程序的代码生成二维码图片3. 使用手机扫描生成的二维码,并将其转化为py脚本前言最手机上写脚本是一件每场辛苦的事情,虽然SL4A人性化的为我们提供了API快速 ...
python写双色球的开发语言_用python编写双色球软件？
写了个双色球所有可能的组合和次数统计 # -*- coding=utf-8 -*- num = 0 ssq = [] for i in range(1,34): print "....[运行 ...
python写安卓app控制蓝牙_基于python实现蓝牙通信代码实例
这篇文章主要介绍了基于python实现蓝牙通信代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下安装和示例 linux下安装 sudo apt ...
python对土木工程有需要吗_自学python需要注意的问题
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 Python确实容易上手,对初学者的门槛很低. 但是对于小白真正的门槛在于系统知识,这就和用什么语言完全没有任何关系了. 你不能让一个才会写print函数 ...

用python写一个简单的爬虫_用Python编写一个简单的爬虫

用python写一个简单的爬虫_用Python编写一个简单的爬虫相关推荐

最新文章

热门文章