python常用基础库:标准库和第三方库
标准库
os模块:提供与操作系统相关联的函数
import os
os.getcwd() # 返回当前的工作目录
os.chdir('/server/accesslogs') # 修改当前的工作目录
os.system('mkdir aaa') # 执行系统命令mkdie aaa
sys模块:通用工具脚本经常调用命令行参数
import sys
sys.argv # 从程序外部获取参数的桥梁,是一个列表
sys.stdout.write() # 相当于print
sys.stdin.readline() # 相当于input
sys.stderr # 用于显示警告或错误信息
sys.exit() # 脚本定向终止
re模块:为高级字符串处理提供了正则表达式工具
import re
re.findall()
re.sub()
re.match()
math模块:为浮点运算提供了对底层C函数库的访问
import math
math.log(1024, 2)
math.cos(math.pi / 4)
random模块:提供随机生成数的工具
import random
random.choice(['apple', 'pear', 'banana'])
random.sample(range(100), 10)
random.random()
datetime模块:日期和事件处理同事提供了简单和复杂的方法
import datetime
datetime.date.today()
datetime.now()
测试模块:
doctest模块:提供了一个工具,扫描模块并根据程序中内嵌的文档字符串执行测试
doctest模块搜索类似于交互式Python会话的文本段,然后执行这些会话来验证他们是否如所示的那样。
常见使用doctest的方式:
- 通过检测所有的文档中的交互式例子输出正常来检查一个模块的文档字符串为最新的。
- 通过验证来自测试文件或者测试对象的交互式例子的输出像预期一样来执行回归测试。
- 为一个包编写教程文档,主子地输入-输出例子来说明。
def average(values):"""Computes the arithmetic mean of a list of numbers.>>> print(average([20, 30, 70]))40.0"""return sum(values) / len(values)import doctest
doctest.testmod() # 自动验证嵌入测试
unittest模块:单元测试框架
unittest 单元测试框架是受到 JUnit 的启发,与其他语言中的主流单元测试框架有着相似的风格。其支持测试自动化,配置共享和关机代码测试。支持将测试样例聚合到测试集中,并将测试与报告框架独立。
一个测试用例是一个独立的测试单元。它检查输入特定的数据时的响应。 unittest 提供一个基类: TestCase ,用于新建测试用例。
import unittestclass TestStringMethods(unittest.TestCase):def test_upper(self):self.assertEqual('foo'.upper(), 'FOO')def test_isupper(self):self.assertTrue('FOO'.isupper())self.assertFalse('Foo'.isupper())def test_split(self):s = 'hello world'self.assertEqual(s.split(), ['hello', 'world'])# check that s.split fails when the separator is not a stringwith self.assertRaises(TypeError):s.split(2)if __name__ == '__main__':unittest.main()
第三方库
网络爬虫
requests:用python语言编写,基于urllib库,采用开源协议的HTTP库
比urllib方便,可以节约大量工作,完全满足HTTP测试需求。
import requestsr = requests.get('http://www.baidu.com') # 最基本的GET请求
print(r.status_code) # 获取返回状态
print(r.text) # 打印解码后的返回数据
GET请求 requests.get(‘https://httpbin.org/get’)
POST请求 requests.get(‘https://httpbin.org/post’)
PUT请求 requests.put(‘https://httpbin.org/put’)
DELETE请求requests.get(‘https://httpbin.org/delete’)
HEAD请求 requests.get(‘https://httpbin.org/head’)
OPTIONS请求requests.get(‘https://httpbin.org/options’)
requests.get(URL, auth=HTTPDigestAuth('user', 'pass')) # 身份认证
requests.get('http://github.com', timeout=0.01)
scrapy:快速、高层次、轻量级的屏幕抓取和web抓取的python爬虫框架
bench:性能测试
fetch:读取源代码
genspider:生成爬虫文件
runspider:运行爬虫文件
settings:爬虫设置
shell:终端操作
startproject:创建项目
version:查看版本
check:检查代码是否出错
crawl:运行一个爬虫
edit:编辑爬虫
list:列出有效的爬虫
parse:解析url并打印出结果
Scrapy数据处理流程:
- 当需要打开一个域名时,爬虫开始获取第一个url,并返回给引擎
2.引擎把url作为一个请求交给调度器
3.引擎再次对调度器发出请求,并接收上一次让调度器处理的请求
4.引擎将请求交给下载器
5.下载器下载完成后,作为响应返回给引擎
6.引擎把响应交给爬虫,爬虫开始进一步处理,处理完成后有两个数据,一个是需要跟进的url,另一个是获取到的item数据,然后把结果返回给引擎
7.引擎把需要跟进的url给调度器,把获取的item数据给管道
8.然后从第2步开始循环,知道获取信息完毕。只有调度器中没有任何请求时,程序才会停止
数据分析
numpy:python的科学计算模块,底层实现用c代码,运算效率很高;numpy的核心是矩阵narray运算
矩阵拥有的属性
ndim属性:维度个数
shape属性:维度大小
dtype属性:数据类型
pandas:python的一个大数据处理模块,pandas使用一个二位的数据结构dateframe来表示表格的数据
文本处理
pdfminer
openpyxl
python-docx
beautifulsoup4
用户图形界面
PyQt5
pygtk
web开发
django
flask
游戏开发
pygame
panda3D
分词工具jieba
数据库连接库pymysql
python常用基础库:标准库和第三方库相关推荐
- python语音识别的第三方库_python标准库+内置函数+第三方库: 7.音频处理
python标准库+内置函数+第三方库 欲善其事,必先利其器 这其器必是python的标准库+内置函数,话说许多第三方库, 也是对标准库的使用,进行封装,使得使用起来更方便. 这些库以使用场景来分类: ...
- 求助,Python安装了Anaconda之后python自带的IDEL无法引用第三方库
求助,Python安装了Anaconda之后python自带的IDEL无法引用第三方库 本来一直是使用idel的,之前安装了一些第三方库现在也可以使用, 但是在安装了anaconda之后,自动安装了很 ...
- python怎么用第三方库_python怎么引用第三方库?
Python及第三方库安装教程 一.Python安装教程 第一步:下载Python安装包 第二步:安装 第三步:测试 第四步:运行 二.第三方库安装教程 第一步:下载安装包 第二步:安装 第三步:测试 ...
- 以下选项中使python脚本程序转变为_以下选项中使python脚本程序转变为可执行程序的第三方库的是:...
[多选题]拉式市场的供应链系统就是以客户为导向进行( ). [单选题]五行关系中"见肝之病,知肝传脾"是指 [单选题]已知立体的主视图和俯视图,正确的左视图是( ) ...
- 帮你解剖Python的一个轻量级桌面GUI开发第三方库:Eel,让它体无完肤
Python的一个轻量级桌面GUI开发第三方库:Eel 一.Eel介绍 二.资源库eel的安装 三.文件结构和简单的hello介绍 3.1 文件结构 3.2 代码:hello1.py 3.3 main ...
- python语言中、用来安装第三方库的命令_python安装第三方库的方法
python安装第三方库的方法 发布时间:2020-09-03 11:22:15 来源:亿速云 阅读:76 作者:小新 小编给大家分享一下python安装第三方库的方法,相信大部分人都还不怎么了解,因 ...
- 【Linux】动态库与静态库,如何打包库,如何使用第三方库
文章目录 回顾基础 学会打包自己的库并使用 静态库 打包库 第三方库的使用 动态库 打包库 第三方库的使用 动态库加载以及周边问题 回顾基础 这篇文章主要对动静态库进行进一步的学习,关于动静态库的一些 ...
- [转载] 20个常用Python库及200个第三方库
参考链接: 使用Python在Linux Terminal中格式化文本 Requests.Kenneth Reitz写的最富盛名的http库.每个Python程序员都应该有它 Scrapy 如果你从事 ...
- 20个常用Python库及200个第三方库
Requests.Kenneth Reitz写的最富盛名的http库.每个Python程序员都应该有它Scrapy 如果你从事爬虫相关的工作,那么这个库也是必不可少的wxPython GUI(图形用户 ...
最新文章
- Modern CSV中文版
- 如何跟随有三从零进阶中级CV算法工程师
- Singleton模式的实现
- 生成对抗网络gan原理_生成对抗网络(GAN)的半监督学习
- linux 文件系统覆盖目录,Linux内核裁减及根文件系统定制
- 飞鸽传书软件很多人都会认为他已经做到了
- 第七章部分例题最大乘积
- python网络编程学习笔记(6):Web客户端访问
- 软件测试---正交试验法
- 动手实验:使用 jstat 摸清线上系统的JVM运行状况
- 一个很有意思的熊猫免疫器
- oracle创建存储过程报错,oracle创建了存储过程,在PLSQL @路径 执行后报错
- Android 缩放动画 ScaleAnimation
- IDEA-快捷键noob
- Client<unknown> disconnected, not authorised
- 第11.27节 Python正则小结:正则静,静则明,明则虚,虚则无为而无不为也
- 客户旅程_编程如何找到我的:21岁开发人员的7年旅程
- 1.20e 的maphack
- CTF SSTI模板注入详解
- 生化危机2重置版win7计算机丢失,《生化危机2》重制版游戏停止工作怎么办 解决方法详解...