python做一个网页、让用户上传数据_一个简单的网站爬虫教程,让你了解爬虫的步骤,爬虫网页数据采集...
Apple iPhone 11 (A2223) 128GB 黑色 移动联通电信4G手机 双卡双待
4999元包邮
去购买 >
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
项目目标
采集APP推广数据
受害者地址
https://www.cpajia.com/
环境
Python3.6
pycharm
requests
time
csv
相关库用 pip install 安装即可
获取数据内容
cap之家数据是动态数据加载的~ 开发者工具可以找到相对应的数据接口
请求数据是POST
数据内容找到了,单页数据可以直接爬取,如果想要爬取多页数据,那就要分析接口数据url的变化
因为数据接口是post请求,所以一般情况都是data参数的变化,所以查看data参数的变化就可以了~
第一页接口数据data参数
两个接口都是一样的数据,但是data参数不一样,第二个就是感觉data参数就是对应的页数号,所以可以多看几页的data参数的变化
第二页接口数据data参数
第三页接口数据data参数
这一下就很清楚的看到data参数的变化了~Pagelndex是等差数列 刚好对应的页数
所以再翻页爬取的时候只要改变Pagelndex参数就可以了
爬虫代码
导入相关工具
importrequestsimporttimeimport csv
请求网页
url = 'https://www.cpajia.com/index.php?m=index&a=search'data={'PageIndex': '{}'.format(page)
}
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
response= requests.post(url=url, data=data, headers=headers)
解析网页数据
dit ={}for i inlis:
dit['名称'] = i['title']
data_time= int(i['updatetime'])
timeArray=time.localtime(data_time)
otherStyleTime= time.strftime("%Y--%m--%d %H:%M:%S", timeArray)
dit['发布时间'] =otherStyleTime
dit['单价/元'] = i['price']
dit['结算方式'] = i['balance']
dit['数据查看'] = i['dataview']
dit['电话'] = i['phone']
dit['微信'] = i['wxh']
dit['QQ'] = i['qq']
dit['产品要求'] = i['content']
保存数据
f = open('APP推广数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer= csv.DictWriter(f, fieldnames=['名称', '发布时间', '单价/元', '结算方式', '数据查看', '电话', '微信', 'QQ', '产品要求'])
csv_writer.writeheader()
运行代码,效果如下图
python做一个网页、让用户上传数据_一个简单的网站爬虫教程,让你了解爬虫的步骤,爬虫网页数据采集...相关推荐
- synology服务器限制用户复制文件,百度网盘限制群晖NAS用户上传数据,免费时代结束了...
群晖系统真是一个很好用的系统,目前我的蜗牛星际主机组装的黑群晖已经运行2个月了,十分便利.大家都说 不过群晖同步 百度网盘给出的官方通知显示,可供 原本"百度网盘后宫佳丽三千,独独宠群晖一人 ...
- crt上传数据_用SecureCRT来上传和下载数据
我使用的是SecureCRT5.5 SecureCR下的文件传输协议有ASCII.Xmodem.Zmodem 文件传输协议 文件传输是数据交换的主要形式.在进行文件传输时,为使文件能被正确识别和传送, ...
- crt上传数据_使用SecureCRT上传文件到Linux服务器
使用SecureCRT有两种方式可以将文件上传到Linux服务器,已上传Asp.Net Core runtime为例. 一.使用Zmodem(在shell终端上操作) 1.上传 (1) 进行文件上传 ...
- 上传数据,直接分析,这才是真正的生物云
计算资源,生物软件安装,数据库配置,往往占据生物数据分析80%以上的时间,一直是阻挡生物数据分析的三座大山.为了实现我们"上传数据,直接分析"的理念.我们对计算资源的追求是无止境的 ...
- python 全栈开发,Day86(上传文件,上传头像,CBV,python读写Excel,虚拟环境virtualenv)
python 全栈开发,Day86(上传文件,上传头像,CBV,python读写Excel,虚拟环境virtualenv) 一.上传文件 上传一个图片 使用input type="file& ...
- PHP 安全:如何防范用户上传 PHP 可执行文件
转载地址:https://laravel-china.org/topics/19624 每个专业的 PHP 开发者都知道用户上传的文件都是极其危险的.不论是后端和前端的黑客都可以利用它们搞事情. 大约 ...
- dropzonejs中文翻译手册 DropzoneJS是一个提供文件拖拽上传并且提供图片预览的开源类库....
http://wxb.github.io/dropzonejs.com.zh-CN/dropzonezh-CN/ 由于项目需要,完成一个web的图片拖拽上传,也就顺便学习和了解了一下前端的比较新的技术 ...
- node将当前文件上传到服务器,以编程方式将文件从node.js上传到另一个Web服务器...
我需要将文件从node.js应用程序推送到其他地方运行的Web服务器,该服务器通过典型的上载机制接受文件.例如,假设接收服务器有一个网页,这样的形式:以编程方式将文件从node.js上传到另一个Web ...
- JAVA如何实现将用户上传的PDF文件转换成图片并返回给用户
很多曾经攻克过的难题都没有及时记录并分享,觉得有些可惜.趁着现在还单身,头还没秃,精力也还算旺盛,我便整理出一些自己曾经挑灯夜战.独立实现的还算有些成就感的项目需求,记录在个人博客上,希望能给拥有相同 ...
最新文章
- 计算机位运算:左移乘以2,右移除以2
- C++模拟实现Objective-C协议和代理模式
- 范数在机器学习中的作用_设计在机器学习中的作用
- python存储对象的数组_Python:在2d数组中存储对象并调用其方法
- 新建MVC项目与发布
- MVC的Filter应用小结
- 阿里终面:优秀的代码都是如何分层的?
- android状态栏虚拟按键适配,Android开发笔记——透明状态栏与透明虚拟按键
- 猜数字游戏编程C语言0到9,【游戏编程】猜数字游戏(C语言)
- FORTRAN 输入输出 from《Fortran95 程序设计》
- 微信僵尸粉源码php,清除微信僵尸粉工具源码
- 多个java性能优化细节
- 浏览器清除缓存快捷键
- python京东注册账号_Python 模拟京东登陆
- word中磅和mm的换算
- 一个案例告诉你如何使用 Kyligence + Spark 进行大数据机器学习
- python线性回归预测pm2.5_基于随机森林算法的PM2.5预测
- 如何解决不能绘制网络模型,报错protobuf
- 合理使用百度开放平台(一)---动物识别
- PCA(Principal Component Analysis)主成分分析数学原理
热门文章
- springboot使用poi实现Excel模板的下载功能
- 【安卓笔记】如何设置模拟器的IP
- java植物大战僵尸 论文_java实现植物大战僵尸游戏
- 自动化测试难题,验证码如何解决
- mongo3.5 java cursor_pymongo for py2.7.py3.6版本-pymongo下载3.5.1 官方最新版-西西软件下载...
- php查询百度google收录情况,百度权重、pagerank、alexa及百度和谷歌收录情况查询接口...
- JS 对象转换为数组
- leetcode面试题 804. 唯一摩尔斯密码词
- linux怎么运行dnf,dnf命令 - Linux命令大全 | linux教程
- equal与==的区别