51自学网python爬虫_自学Python爬虫实战（小白篇)

Python的爬虫很强大，可以高效的提取网站信息，省时省力高效。瞎掰这么多犹如纸上谈兵，下面把这周的部分成果放出来。

爬取京东商品页面信息

1.我们需要从python中安装一个requests库--------在windows 系统下,只需要输入命令pip install requests即可安装。

输入import requests验证是否安装成功。（注意，俩单词中间只有一个空格哦！）

(图示为安装成功）

2.插入链接，我们爬取京东的一款电脑，链接如下https://item.jd.com/55983367371.html-----输入r=requests.get("https://item.jd.com/55983367371.html")

3.输入r.status_code查看状态码，200为正常。（如果不是两百，文章最后有解决办法）

4.我们查看他的编码信息----r.encoding

5.最后，输入r.text[:1000]获取信息

大多数情况会出现异常情况：

这是被京东的网站截住了，你想去人家的大学大摇大摆拍照，被保安大爷大喝一声“站住！”，把你拦截了。

咋回事？

你把你的真实面目展现给了对方。

咱好歹得伪装一下，给京东的兄弟留点面子。

输入r.request.headers查看他的头部份，

说明我们如实的告诉了门岗，有一个叫 'python-requests/2.24.0'的小毛孩儿想要扒你的信息，大爷当然就六亲不认了，但是没有关系，我们可以装作一个浏览器访问。

解决方案

依次输入：

kv = {'user-agent':'Mozilla/5.0'}

url ="https://item.jd.com/55983367371.html"

r = requests.get(url, headers = kv)

每次输完不要忘记回车哦。

一顿操作猛如虎，成功伪装成浏览器，名字叫做Mozilla/5.0

再操作，Victory

同理，如果状态码异常了（非200），再进行同样的操作就OK了！

赶紧找个其他的商品试试吧！

原文链接:https://blog.csdn.net/m0_46565226/article/details/108327609

51自学网python爬虫_自学Python爬虫实战（小白篇)相关推荐

第一章第一节：Python基础_认识Python
Python基础入门(全套保姆级教程) 第一章第一节:Python基础_认识Python 1. 什么是编程通俗易懂,编程就是用代码编写程序,编写程序有很多种办法,像c语言,javaPython语言 ...
日本python教材_自学python：完整入门python书单！
小伙伴总在询问Python的书,哎呀,动力所致,书单来了.9本,涵盖范围蛮大的.Python热持续中,入门计算机首选语言... 1.<父与子的编程之旅> 关注威信工宗号:程序员大牛,即可领 ...
python编辑器_自学python第一课之下载安装编辑器
一.Python编辑器安装第一步:打开下载好的安装包,点击python3.7安装环境: 第二步:注意:一定要勾选上add Python 3.7 to PATH,不然就不会自动添加到系统环境变量里,可 ...
福州python招聘_【Python程序员招聘|Python程序员最新招聘信息】-看准网
立即投递职位薪资:6000-10000 经验:不限学历:不限类型:全职 linux下python编程对接ai平台做应用立即投递职位薪资:8000-13000 经验:不限学历:本科类型: ...
一步一步学python爬虫_初学Python之爬虫的简单入门
初学Python之爬虫的简单入门一.什么是爬虫? 1.简单介绍爬虫爬虫的全称为网络爬虫,简称爬虫,别名有网络机器人,网络蜘蛛等等. 网络爬虫是一种自动获取网页内容的程序,为搜索引擎提供了重要的数据 ...
手机写python爬虫_可以写爬虫的那么多，为什么只有python火了？
网络爬虫: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模 ...
51自学网，各种软件自学视频的地方
http://www.51zxw.net/study.asp?vip=10777676 [url=http://www.51zxw.net/study.asp?vip=10777676]51自学网-专 ...
python批量自动填写网页表单_使用python+selenium帮助你填写网站表单
应用场景:频繁往网站.电商平台后台等填写数据. 工作场景:电商上传商品.测试人员.批量提交表单等. 涉及内容:python读写EXCEL文件.selenium基础使用.Xpath基础使用.python ...
如何用python赚钱_利用python能怎么挣钱
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 6年python,期间写了各种奇葩爬虫,挣各种奇葩的钱,写这篇文章总结下几种爬虫 ...
复旦大学python培训_复旦大学Python之子高质量解读：Python400集视频教程+python电子书大合集...
Python 简介: Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. Python 的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具 ...

51自学网python爬虫_自学Python爬虫实战（小白篇)

51自学网python爬虫_自学Python爬虫实战（小白篇)相关推荐

最新文章

热门文章