python3一个简单的网页抓取

都是学PYTHON。怎么学都是学，按照基础学也好，按照例子增加印象也好，反正都是学

import urllib
import urllib.requestdata={}
data['word']='baker95935'url_values=urllib.parse.urlencode(data)
url="http://www.baidu.com/s?"
full_url=url+url_valuesdata=urllib.request.urlopen(full_url).read()
print(data)

解释解释，前面的代码是引入2个库一个是urllib库一个是urllib.request库

用{}来创建一个空的字典，切记是字典不是集合，集合用set()来创建

然后字典中给赋值

然后把字典的值进行url编码格式化

然后用urllib.request的urlopen函数，进行打开，使用read方法读取数据

最后打印出来

对于网络这块学习到了一个不错的python框架 scrapy 以后多学习学习这个东东

posted on 2017-10-11 10:00 baker95935 阅读(...) 评论(...) 编辑收藏

转载于:https://www.cnblogs.com/baker95935/p/7649158.html

python3一个简单的网页抓取相关推荐

一个简单的网页抓取工具
前两天遇到一个妹子,她说不会从拉网页,我想用node做个网页抓取工具是何尝的简单,于是装x之路开始了. 其实想法很简单,由网址得到html,由html解析css,js,image等,分别下载就行了, ...
一个小型的网页抓取系统的架构设计
一个小型的网页抓取系统的架构设计网页抓取服务是互联网中的经常使用服务.在搜索引擎中spider(网页抓取爬虫)是必需的核心服务.搜索引擎的衡量指标"多.快.准.新"四个指标中,多 ...
Python3网络爬虫(一)：利用urllib进行简单的网页抓取
运行平台:Windows Python版本:Python3.x IDE:Sublime text3 转载请注明作者和出处:http://blog.csdn.net/c406495762/article ...
python爬虫设计模式_Python3网络爬虫(一)：利用urllib进行简单的网页抓取
点击蓝色字免费订阅,每天收到这样的好信息前言:最近有不少粉丝关注本公众号.并且我已经成功开通了流量主同时会赚一点点广告费,我打算每个月把这部分钱拿出来给大家买点书刊,算是给大家一点福利吧.大家想买什 ...
python外国网站爬虫_Python3网络爬虫(一)：利用urllib进行简单的网页抓取
一.预备知识 1.Python3.x基础知识学习: 可以在通过如下方式进行学习: (1)廖雪峰Python3教程(文档): (2)菜鸟教程Python3教程(文档): (3)鱼C工作室Python教程 ...
使用HttpClient实现一个简单爬虫，抓取煎蛋妹子图
第一篇文章,就从一个简单爬虫开始吧. 这只虫子的功能很简单,抓取到"煎蛋网xxoo"网页(http://jandan.net/ooxx/page-1537),解析出其中的妹子图,保 ...
python3 解析html_Python3.x网页抓取HTMLParser
HTML操作是编程中很重要的一块,下面用Python3.x中的html.parser中的HTMLParser类来进行HTML的解析. HTMLParser类定义及常用方法标准库中的定义 class ...
网络爬虫系列之网页抓取
(你的世界是个什么样的世界?你说,我们倾听!) ----------------- 网页抓取我们在抓取网页时需要安装requests包,具体安装过程如下: pip install request ...
玩转Java网页抓取
- 使用Java进行网页抓取 - 用于网页抓取的流行语言有Python.JavaScript和Node.js.PHP.Java.C#等.因为有很多选择,想要确定哪种语言最合适并不容易.每种语言都有其优 ...

python3一个简单的网页抓取

python3一个简单的网页抓取相关推荐

最新文章

热门文章