从零开始学习python-新手学习python-从零开始学习
1.学习python
urllib2 常用方法
urlopen(url, data, timeout)
urllib2.Request()
urllib.urlencode()
params = {}
get : url + "?" + params
http:请求分析
User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务
import urllib
import urllib2
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'username' : 'cqc', 'password' : 'XXXX' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()
对付”反盗链”的方式,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer
代理服务器设置
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
使用DebugLog
import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')
cookie Cookielib
import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法,也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
print 'Name = '+item.name
print 'Value = '+item.value
保存cookie到文件
import cookielib
import urllib2
#设置保存cookie的文件,同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)
从文件中获取Cookie并访问
import cookielib
import urllib2
#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()
BeautifulSoup 类型
Tag
NavigableString
BeautifulSoup
-Comment
遍历文档树
tag 的 .content 属性可以将tag的子节点以列表的方式输出
.children
.descendants 属性可以对所有tag的子孙节点进行递归循环
.strings 获取多个内容
.stripped_strings 可以去除多余空白内容
.parent 父节点
. parents 所有的父节点
.next_sibling .previous_sibling 兄弟节点
.next_siblings .previous_siblings 所有的兄弟节点
10 .next_element .previous_element 前后节点
.next_elements .previous_elements 所有的前后节点
搜索文档树
find_all( name , attrs , recursive , text , **kwargs )
用法类似
从零开始学习python-新手学习python-从零开始学习相关推荐
- 如何学python新手入门_如何学习Python,以及新手如何入门?
好久以前就想写这个回答了. 学校里面开了一门极其火的python通识课,我幸运选上,加上我对python还是比较感兴趣的.就这样我开始了我的python学习之路. 提前说明吧,我真的还只是一个纯纯纯新 ...
- python新手代码-Python的初学者你现在可以自己“看”到代码的运行了!
最近小编一直在给群里小伙伴解决各种的错误,尤其是对一些基础薄弱的同学来说,出现错误后更是一脸懵逼!直到有一天,小编找到了Python Tutor,终于解脱了. Python学习交流群542110741 ...
- python新手入门-python新手入门方法
随着人工智能 大数据的火热 Python成为了广大科学家和普通大众的学习语言.在学习Python的过程中 有很多人感到迷茫 不知道自己该从什么地方入手,今天我们就来说一些新手该如何学习Python编程 ...
- vscode如何运行python新手教程_从零开始的TensorFlow+VScode开发环境搭建的步骤(图文)...
VScode不愧是用户数量上升最快的编辑器,界面华丽(当然,需要配合各种主题插件),十分容易上手且功能强大.之前用它写C++体验十分nice,现在需要学习tensorflow,而工欲善其事必先利其器, ...
- python新手项目-Python 的练手项目有哪些值得推荐?
其实初学者大多和题主类似都会经历这样一个阶段,当一门语言基础语法学完,之后刷了不少题,接下来就开始了一段迷茫期,不知道能用已经学到的东西做些什么即便有项目也无从下手,而且不清楚该如何去提高技术水平. ...
- python新手教程 从零开始-Python零基础从零开始学习Python十分钟快速入门
原标题:Python零基础从零开始学习Python十分钟快速入门 学习Python的,都知道Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言.Python是一种动态解释型的 ...
- python从零开始到精通_「Python 入门学习指南」0基础小白助你从入门到精通!
Python比较简单,非常适合初学者入门,内置了各种库,还有丰富的大约13万第三方库,掌握了语法和编程思维后,可以直接使用这些库做出自己的产品.这篇 Python 入门学习指南,针对没有任何编程经验. ...
- python硬件驱动_从零开始:手把手教你安装深度学习操作系统、驱动和各种python库!...
原标题:从零开始:手把手教你安装深度学习操作系统.驱动和各种python库! 为了研究强化学习,最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器.尽管目前在网络中能找到一些环境部署指 ...
- 从零开始学python人工智能课程_从零开始如何学习人工智能?
想要学习人工智能?这里有一条完整路径资源 在本文中,<Analytics India>杂志给出了学习AI的最佳途径.... 科技领域的天平正在向人工智能倾斜,IT领域的技术人员正在将AI应 ...
- python爬虫-Python爬虫学习之(一)| 从零开始
大家好,相信点进来看的小伙伴都对爬虫非常感兴趣,博主也是一样的.博主刚开始接触爬虫的时候,就被深深吸引了,因为感觉SO COOL啊!每当敲完代码后看着一串串数据在屏幕上浮动,感觉很有成就感,有木有?更 ...
最新文章
- 韩先培:大规模预训练语言模型是下一代知识图谱吗 | 青源 Talk 第6期
- PHP6 Web 开发读书笔记
- 【转】Asp.NET大文件上传开发总结(一)
- python中main方法的用法_python __main__和__init__正确用法
- 折线图 放大_第二个折线图(Line Plot)的示例代码
- LeetCode 153. 寻找旋转排序数组中的最小值(二分)
- 抖音下拉框中的下拉词是怎么出来的?
- json读取json文件,上传到后台
- bootice工具修复linux,bootice工具怎么修复引导win7
- 数控机床CNC编程入门【G-code】
- 苹果内部应用商店批准/审核 iPhone 应用程序相关流程
- pdf转图片 jpg png
- html动画3d背景图片,jQuery和CSS3全屏3D背景图片视觉差特效
- 那些年搞不懂的高深术语——依赖倒置•控制反转•依赖注入•面向接口编程...
- 关于一些繁体字体显示乱码的问题
- 电脑录屏怎么录?超详细的录屏教程来了
- Java解析word文档,将word文档题库选择题导入
- vue学习第五天(9月8号)
- wd移动硬盘测试软件,WD西数 MY Passport移动硬盘拆解评测
- Airbnb房源信息爬取(一)——获取城市列表
热门文章
- 关于String字符串的常用操作。(持续更新中)
- 项目配置laungchImage
- Kafka深度解析(如何在producer中指定partition)(转)
- wordpress 自定义删除后台管理菜单
- supersu二进制更新安装失败_helm安装教程
- python写网站和java写网站的区别-为什么说Java和Python现阶段并不适合普通网站建设...
- python工程师薪资-不止 20K,Python 工程师的薪资再度飙升!
- python自学步骤-学习Python最正确的步骤(0基础必备)
- 线上学python哪家好-Python线下培训好还是线上培训好
- python3.6安装opencv-python3.6.5安装opencv3