Python新手都知道而你却不知的经典案例

一、环境准备

Python 3

requests库、lxml库、beautifulsoup4库

pip install XX XX XX一并安装。

二、Python爬虫小案例

1、获取本机的公网IP地址

利用python的requests库+公网上查IP的接口，自动获取IP地址

2、利用百度的查找接口，Python编写url采集工具

需要用到requests库、BeautifulSoup库，观察百度搜索结构的URL链接规律，绕过百度搜索引擎的反爬虫机制的方法为在程序中设置User-Agent请求头。

在这里还是要推荐下我自己建的Python开发学习裙:304 零伍零 799，裙里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2018最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴

Python源代码：

Python语言编写好程序后，利用关键词inurl:/dede/login.php 来批量提取某网cms的后台地址：

3、利用Python打造搜狗壁纸自动下载爬虫

搜狗壁纸的地址是json格式，所以用json库解析这组数据，爬虫程序存放图片的磁盘路径改成欲存图片的路径就可以了。

4、Python自动填写问卷调查

与一般网页一样，多次提交数据会要输入验证码，这就是反爬机制。

如图：

那么如何绕过验证码的反爬措施？利用X-Forwarded-For伪造IP地址访问即可，Python代码如下：

效果：

5、获取西刺代理上的IP，验证这些代理被封禁掉的可能性与延迟时间

可以把Python爬取的代理IP添加到proxychain里面，就可以进行一般的渗透任务了。这里直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ，在Windows中运行此程序需要修改倒数第三行os.popen里的命令，修改为Windows能够执行的就可以了。

爬取到的数据如图：

更多编程方面的分享请关注微信公众号：程序员大牛！

Python新手都知道而你却不知的经典案例相关推荐

[Python从零到壹] 六十一.图像识别及经典案例篇之基于纹理背景和聚类算法的图像分割
祝大家新年快乐,阖家幸福,健康快乐! 欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所 ...
[Python从零到壹] 六十.图像识别及经典案例篇之基于阈值及边缘检测的图像分割
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
Python骚操作之第二话常用语句及经典案例
文章目录前言一.判断语句多重判断嵌套判断二.循环语句三.break 四.continue 五.面试经典案例 5.1.'1020个瓜,第一天卖掉总数的一半后多卖出两个,以后每一天麦剩下的一半 ...
[Python从零到壹] 六十四.图像识别及经典案例篇之图像傅里叶变换和傅里叶逆变换详解
祝大家新年快乐,阖家幸福,健康快乐! 欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所 ...
Python：利用python语言绘制多个子图经典案例、代码实现之详细攻略
Python:利用python语言绘制多个子图经典案例.代码实现之详细攻略目录利用python语言绘制多个子图代码实现.经典案例 1.绘制多个子图框架多个子图绘制的经典案例 1.绘制多个直方图 ...
用python怎么赚钱-用python赚钱（python新手怎么兼职）
回答: 用这个做兼职一般是做爬虫.做其他的内容,好像很少了.如果你真的要做那么,你还是玩爬虫方向去走.用了爬虫,你就会发现需要代理IP,后面有很多要花钱的东西.. 正规渠道的话,在国内不要考虑用Pyt ...
[转载] Python新手写出漂亮的爬虫代码1——从html获取信息
参考链接: Python中从用户获取多个输入 Python新手写出漂亮的爬虫代码1 初到大数据学习圈子的同学可能对爬虫都有所耳闻,会觉得是一个高大上的东西,仿佛九阳神功和乾坤大挪移一样,和别人说&qu ...
编程入门python语言是多大孩子学的-不学点编程，将来怎么给孩子辅导作业―Python新手入门教程...
为了填满AI时代的人才缺口,编程语言教育都从娃娃抓起了!如果你还不懂Python是什么将来怎么给孩子辅导作业呢? Python新手入门教程近期,浙江省信息技术课程改革方案出台,Python言语现已断 ...
python新手自学-新手自学python
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! python介绍与特点(自学python知识整理)python 简介python ...

Python新手都知道而你却不知的经典案例

Python新手都知道而你却不知的经典案例相关推荐

最新文章

热门文章