Python爬虫实战之一：requests-爬取京东商品详情页面

本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by 嵩天北京理工大学）学习笔记。

1.爬取目标

2.爬取链接

3.技术路线

4.全部代码及输出

5.总结

1.爬取目标

爬取京东某商品详情页面文本数据，不做解析（emmm,就爬下面这个页面的文本数据就成）

2.爬取链接

https://item.jd.com/10024680038271.html

3.技术路线

主要使用工具包：requests

4.全部代码及输出

# 全代码
import requests
url ='https://item.jd.com/10024680038271.html'
try:r= requests.get(url)r.raise_for_status()r.encoding= r.apparent_encodingprint(r.text[:1000])
except:print('爬取失败')

注：

1） r.raise_for_status() # 如果状态不是200，引发HTTPError异常

2）r.encoding = r.apparent_encoding #备选编码格式（‘utf-8’）替换原始encoding模式（'ISO-8859-1'）

5.总结

本例是最最基础的爬虫案例，核心是requests爬虫库get方法

Python爬虫实战之一：requests-爬取京东商品详情页面相关推荐

python爬虫实战-如何批量爬取唯品会商品信息＞＞＞
第一步.打开唯品会网站 https://www.vip.com.然后随意搜索一种商品,比如"键盘",搜索之后下拉发现页面URL没有发生改变,但是商品信息在不断加载,那么这就是动态 ...
python爬虫实战之多线程爬取前程无忧简历
python爬虫实战之多线程爬取前程无忧简历 import requests import re import threading import time from queue import Queu ...
python爬虫实战之异步爬取数据
python爬虫实战之异步爬取数据文章目录前言一.需求二.使用步骤 1.思路 2.引入库 3.代码如下总结前言 python中异步编程的主要三种方法:回调函数.生成器函数.线程大法. 以进 ...
转 Python爬虫实战一之爬取糗事百科段子
静觅 » Python爬虫实战一之爬取糗事百科段子首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来. 友情提示糗事百科在前一段时间进行了改版,导致 ...
《python爬虫实战》：爬取贴吧上的帖子
<python爬虫实战>:爬取贴吧上的帖子经过前面两篇例子的练习,自己也对爬虫有了一定的经验. 由于目前还没有利用BeautifulSoup库,因此关于爬虫的难点还是正则表达式的书写. ...
Python爬虫实战一之爬取糗事百科段子
点我进入原文另外, 中间遇到两个问题: 1. ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128) 解 ...
爬取京东商品详情页信息
之前写过爬取京东商品导航信息,现在献上爬取京东商品详情页信息. #爬取京东商品详情页信息 #2017/7/30import requests from bs4 import BeautifulSoup ...
python 爬网站实例_python爬虫实战：之爬取京东商城实例教程！（含源代码）
前言: 本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1 ...
Python爬虫实战练习：爬取微信公众号文章
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:徐洲更为了实现该爬虫我们需要用到如下工具 Chrome浏览器 Py ...

Python爬虫实战之一：requests-爬取京东商品详情页面

1.爬取目标

2.爬取链接

3.技术路线

4.全部代码及输出

5.总结

Python爬虫实战之一：requests-爬取京东商品详情页面相关推荐

最新文章

热门文章