前言

兴趣是最好的导师，有很多人在学习编程的时候被前期枯燥的语法劝退
这篇博客就将带领大家从初学者的视角学习Python 爬虫发现编程的魅力。

一、Python爬虫是什么？

一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息
这里给出几个实用的案例：
（1）搜索引擎，例如百度、谷歌等搜索公司利用爬虫收揽网站，将目前信息时代数据变现成商业产品；
（2）舆情分析，例如百度、谷歌、搜狗、微博等排行旁，或者其他类的舆情分析产品；
（3）数据买卖，爬取数据提供给买数据的公司，例如天眼查、西瓜数据等；
（4）数据采集，政府、企业、科研工作者等用户根据需求爬取所需要的数据；
（5）爬取一些自己想要的资源，比如爬取美剧、电影等。

二、使用步骤

1装入所需要的库

这里使用requests库，requests是非常适合初学者及个人使用的库
这里直接用，pip指令装入pip install requests
可以用pip list 指令查看已装的库

如果看到requests则代表库已经装好

注：win+r输入cmd回车进入命令行输入以上代码
一般安装python的时候会自动装pip，如果出现pip不是内部或外部指令，应该就是路径问题
最有效简单的方法就是在pip官网下载放入python的Scripts目录下

2.这里直接给出爬虫通用框架

使用爬虫代码框架，可以使程序更稳定，安全

代码如下（示例）：

#try except语句用来获取异常
import requests
def getHTMLText(url):#构造函数,url为网址try:r=request.get(url,timeout=30)r.raise_for_status()#如果状态码不是200，则引发HTTPError异常r.encoding = r.apparent.encoding#使返回的解码正确return r.text#返回文本except:return "产生异常"if__nema__=="__main__":url = "http://www.baidu.com"print(getHTMLText(url))

3.requests库的7个主要方法

对于爬虫来说，运用最多的就是get方法，在后面的文章中，我将给出get方法的详细解读及五个实例

总结

这篇文章只是给出了通用框架及前期的准备，在后面的文章中我会详细的，以最基础的东西开始，教会大家如何使用爬虫。
博主只是一位普通的大一学生，且初次写博客，排版及文笔比较差，如果内容出现错误，欢迎大家指出并改正
以及有对文章的意见，直言不讳。对我批评改正。
**

文中资源来自中国大学Mooc

手把手从0开始学会Python爬虫，从大一初学者视角，带你实现爬虫攥写相关推荐

视频教程-手把手带你学会python爬虫-Python
手把手带你学会python爬虫曾在某大型公司大型互联网任职多年,在公司主要从事移动端开发.全栈开发.主要技术栈是Android.Java.Python.爬虫.Linux等等. 赵庆元 ¥99.00 ...
python多久能学会爬虫-上海多久可以学会python
上海多久可以学会python 来源:教育联展网编辑:粉色de皮卡丘发布时间:2018-12-29 上海Python培训班千锋教育打造人工智能Python工程师快速咨询上海Python培训上 ...
agent python实现建模_零基础三天学会Python爬虫（第二天）
一.Python与urllib2 现在已经迫不及待的想尝试一下url和网络爬虫的配合关系了.我们上一届已经介绍过了,爬虫就是把URL地址中的网络资源读取出来,然后处理(保存到本地,或者打印等等).本篇 ...
python学会爬虫要多久_零基础三天学会Python爬虫（第二天）
一.Python与urllib2 现在已经迫不及待的想尝试一下url和网络爬虫的配合关系了.我们上一届已经介绍过了,爬虫就是把URL地址中的网络资源读取出来,然后处理(保存到本地,或者打印等等).本篇 ...
学会python爬虫怎么赚钱-自学python爬虫赚钱经历
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 最后面试的时候,掌握的技能,sql,python,r. 会一点简单的爬虫 ...
学会python爬虫怎么赚钱-学会python爬虫怎么赚钱
Python爬虫如此的神奇,那我们不禁要问关键的一点,用它怎么赚钱. 最典型的就是找爬虫外包活儿. 这个真是体力活,最早是在国外各个freelancer网站上找适合个人做的小项目,看见了就赶紧去bid ...
学会python爬虫怎么赚钱-学会Python爬虫能赚大钱吗？Python爬虫赚钱渠道分享
学会Python爬虫能赚大钱吗?首先大家要明白这个只是作为一个技术兼职,赚点外快,肯定不比程序员全职工作的工资高.其次赚的多少还要看大家赚钱的渠道.下面小编就和大家分享一下,Python爬虫赚钱渠道, ...
要学会Python爬虫都需要什么基础呢？
提到Python自然就会想到爬虫,很多同学学习Python的目的也是为了使用爬虫,那么你知道想要学会Python爬虫都需要什么基础吗?下面小千就来告诉你. 学Python爬虫需要掌握的基础 1.Pyt ...
Python学习教程：0基础学Python？手把手教你从变量和赋值语句学
这篇Python学习教程将手把手教你入门学Python,从变量和赋值语句学起,前面也有专门给大家出过相关的详细教程,有需要的伙伴,可以找一下前面的教程! 导读:在本文中,你会学到如何处理数字.定义与使 ...

手把手从0开始学会Python爬虫，从大一初学者视角，带你实现爬虫攥写

文章目录

前言