Python接外包养无敌可爱的她，每天都随便花~
人生苦短，我用python
女友好不容易放假，她带着我花花花的样子真的很迷人~
python 安装包+资料:点击此处跳转文末名片获取
不为什么 我的女友我来宠！
作为一个程序员，要有会用自己的技术创造价值的自觉~
今天来给大家展示一下用python采集一下外包网站~
这可是财富道路的第一步啊~
环境使用:
- Python 3.8
- Pycharm
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
- csv
代码实现步骤:
- 发送请求, 对于找到url地址发送请求
- 获取数据, 获取服务器返回数据
- 解析数据, 提取我们想要数据内容
- 保存数据, 保存csv表格里面
- 多页数据采集: 分析请求的url变化规律
代码
导入模块
# 导入数据请求模块 导入模块没有使用 灰色待机状态
import requests # 第三方模块 pip install requests (别人写好 开源代码,你可以直接去调用)
# 导入数据解析模块
import parsel # 第三方模块 pip install parsel
# 导入csv模块
import csv # 内置模块 不需要安装的
完整代码
f = open('data.csv', mode='a', encoding='utf-8', newline='')
# 快速替换 选择替换内容 按住ctrl + R 输入正则
csv_writer = csv.DictWriter(f, fieldnames=['标题','招标','浏览人数','竞标人数','招标状态','价格','详情页',
])
csv_writer.writeheader()# 1. 发送请求, 对于找到url地址发送请求
for page in range(1, 11):print(f'正在爬取第{page}页的数据内容')url = f'https://task.epwk.com/page{page}.html' # 确定网址# 爬虫模拟(伪装成)浏览器 对于url地址发送请求# 反爬 相当于别人给你打电话, 电话显示推销广告headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}response = requests.get(url=url, headers=headers) # <Response [200]> 200状态码表示 请求成功 不代表得到数据了# 2. 获取数据, 获取服务器返回数据# print(response.text) # 返回html字符串数据内容 >>> 提取字符串数据 要使用re正则# 3. 解析数据, 提取我们想要数据内容selectors = parsel.Selector(response.text) # 需要转一下数据类型# 有了解过css选择器吗? xpath根据标签节点提取数据, css选择器是根据标签属性提取数据# 第一次提取, 获取所有div标签divs = selectors.css('.itemblock') # 列表for div in divs: # for遍历循环# 定位有一个class类名字为title的div标签 下面a标签里面 title 属性# attr() 属性选择器, 选择某一个标签里面属性内容title = div.css('div.title a::attr(title)').get() # get 返回字符串, 并且取第一个标签数据# strip() 去除字符串左右两端空格modelName = div.css('div.modelName::text').get().strip() # 招标num = div.css('div.browser div:nth-child(2) span::text').get().strip() # 浏览人数num_1 = div.css('div.browser div:nth-child(3) span::text').get().strip() # 竞标人数status = div.css('span.status::text').get().strip() # 招标状态price = div.css('span.price::text').get().strip() # 价格href = div.css('div.title a::attr(href)').get() # 详情页# 4. 保存数据, 保存到表格数据 字典创建 键:值 >>> 键值对 键值对与键值对之间用 逗号隔开# 值 可以是用任何数据类型, 键 大多数情况字符串数据类型 不能以数字dit = {'标题': title,'招标': modelName,'浏览人数': num,'竞标人数': num_1,'招标状态': status,'价格': price,'详情页': href,}csv_writer.writerow(dit)print(title, modelName, num, num_1, status, price, href)
视频教程【有缘就能看 没缘就算辽】
https://space.bilibili.com/555479228?spm_id_from=…0.0
希望大家都可以赚小钱钱~
文章到这里就结束啦~
咱下篇文章再见啦(✿◡‿◡)
Python接外包养无敌可爱的她，每天都随便花~相关推荐
- 如何用Python快速画一只可爱的小猪佩奇
如何用Python快速画一只可爱的佩奇 代码搬运工: Monster12138/Peppa-Pig: 使用python turtle库画一只小猪佩奇 https://github.com/Monste ...
- python与网页交互_可爱的 Python: 使用 mechanize 和 Beautiful Soup 轻松收集 Web 数据
可爱的 Python 使用 mechanize 和 Beautiful Soup 轻松收集 Web 数据 使用 Python 工具简化 Web 站点数据的提取和组织 David Mertz 2010 ...
- Python除了不能帮你生孩子，什么都能做！
世界首富比尔盖茨说,"学习编程开拓你的思维,帮助你更好地思考,创建一个在所有领域都有益的思考方法." 世界首富眼界的前瞻性确实没得说.大数据时代,各行各业对数据分析能力的要求越来越 ...
- Python学习秘籍 这些窍门就连老司机都不一定知道 值得学习
关注头条号,私信回复资料会有意外惊喜呦------最后一张照片有资料呦. Python神奇指南目录 简介 搭建与初始化 在自定义类中运用操作符 神奇方法比较 神奇方法数字 描述自定义类 控制属性访问 ...
- 用Python偷偷告诉你十一假期8亿人都去哪儿浪？
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料 " 祖国 70 周年的华诞一天天临近,各行各业都在为祖国 ...
- 孩子有必要学python吗_不学就落后了？孩子都能学得Python编程，究竟是什么？
如果你关注科技的发展,肯定知道人工智能技术的发展.我们都知道互联网时代,编程技术是至关重要的.现在流行的Python编程语言,更是广泛应用于互联网大数据时代,甚至将大力推进人工智能发展的进度. 我们甚 ...
- python编程小学生学难吗_为什么小学生都要学Python
IT行业的人肯定都听过一句话,"人生苦短,我用Python."其实后面还有一句,学完Python,便可上天. Python已经被列入山东省小学教材,浙江省高考也会有Python的身 ...
- Python办公自动化（八）｜使用Python转换PDF，Word/Excel/PPT/md/HTML都能转
Word转PDF Word转PDF应该是最常见的需求了,毕竟使用PDF格式可以更方便展示文档,虽然在Word中可以直接导出为PDF格式,但是使用Python可以批量转换,更加高效. 目前在Python ...
- Python数据采集分析告诉你为何上海二手房你都买不起
感谢关注Python爱好者社区公众号,在这里,我们会每天向您推送Python相关的文章实战干货. 来吧,一起Python. 对商业智能BI.大数据分析挖掘.机器学习,python,R等数据领域感兴趣的 ...
最新文章
- android window 大小,android popupWindow 中宽度莫名很大，求帮助？
- redirect和forward的区别
- 设计模式——装饰者模式
- 软件专业人才应具备四种素质
- 猫猫学IOS（二十一）UIApplication设置程序图标右上⾓红⾊数字_联⺴指⽰器等
- 东莞 小学计算机编程大赛,关于举办第二十一届东莞市中小学电脑制作活动的通知...
- 说说关于JVM三色标记算法
- 洛谷3389：【模板】高斯消元法——题解
- ADF单位根检验三种形式_【EViews】面板数据的处理方法及检验步骤
- [魔兽争霸制图 UI位置]
- c51单片机外部中断汇编语言,51单片机汇编语言外部中断笔记
- 《东周列国志》第八十三回 诛芈胜叶公定楚 灭夫差越王称霸
- 各大调音阶之间的对应关系
- B. Shifting Sort（rotate函数旋转应用）
- 后台配置税码（进项税或者销项税税码）
- Kindle电子书的资源汇总
- OpenCV学习笔记（三）——图像像素（图像的最大（小）值、均值、标准差、比较运算、逻辑运算、图像二值化）
- 论Cardano修仙之路，聊ADA现状分析
- linux获取系统信息（sysinfo函数的使用）
- The Jackknife and Bootstrap