文章目录

迭代器和生成器的区别
如何提高python 的运行效率
python 如何进行内存管理
Python语言的特点
python数据类型
python字符串格式化方法
type 和isinstance区别
对GIL（Global Interpreter Lock)全局解释器锁的理解
同步异步，阻塞非阻塞
如何定位Python程序的性能问题
提升Python程序性能小技巧
python异常处理
with-block 上下文管理器

迭代器和生成器的区别

一个对象只要实现了__iter__方法就是可迭代的，iter＿方法会返回一个迭代器，所谓迭代器就是具有next方法，调用next方法时，迭代器会返回它的下一个值．如果迭代器无值返回，则引发一个StopIteration异常（python3.0中迭代器对象指的是实现__next()方法的）
　　生成器（一遍循环一边计算）是一种用普通函数语法定义的迭代器，在返回数据的时候使用yield语句（任何包含yield语句的函数都是生成器）.当生成器函数被调用时，函数体的代码不会被执行，而是返回一个迭代器．每次请求一个值就会执行生成器中的代码，直到遇到yield或者return 语句

区别：迭代器能做的事情，生成器都能做．生成器自动创建了__iter__()和__next__()方法，使得函数显得简洁．此外，使用生成器推导式（生成器表达式）取代列表推导式解析可以节省内存和cpu；生成器只能遍历一次

  参考：https://blog.csdn.net/u014745194/article/details/70176117

https://www.cnblogs.com/wj-1314/p/8490822.html

如何提高python 的运行效率

１)使用生成器　
　　　２)关键代码使用外部功能包，比如cython等　
　　　３)针对循环优化，尽量避免在循环中方位变量属性

python 如何进行内存管理

１，引用计数：
　　python中，每一个对象都有一个引用计数，引用计数为了指向该对象的引用总数．当一个对象的引用计数为０时，对象被垃圾回收
　　引用计数增加的情况：　
　　　　１）创建对象（x=4)；另外被别人创建(y = x)；
　　　　２）被当做参数传递给函数（f(x)）；
　　　　３）作为容器对象的一个元素（a = [1,x,“33”]）
　　引用计数减少的情况：
　　　　１）一个本地引用离开了作用域(上面的f(x)函数结束时，ｘ指向的对象引　　　　　　用减一）；
　　　　２）对象的别名被显式销毁（del x）；
　　　　３）对象的一个别名被赋值给其他对象（x = 789）；
　　　　４）对象从一个窗口对象中移除（myList.remove(x)）；
　　　　５）窗口对象本身被销毁或者窗口对象本身离开了作用域（def myList）

２，垃圾回收：
　　当内存中有不再使用的部分时，垃圾收集器就会把他们清理掉．垃圾收集器会去检查那些引用计数为０的对象，清除其在内存中的空间．垃圾回收机制里有一个循环垃圾回收器，用于确保释放循环引用对象（a引用b, b引用a,　导致引用计数永远不为０)　启动垃圾回收就不能做其他任务了，所以内存中的对象不多就没有必要总启动垃圾回收．所以，Python只会在特定条件下，自动启动垃圾回收。当Python运行时，会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时，垃圾回收才会启动

       ［前情了解：在python中，很多时候申请内存都是小块的内存，这些小内存申请后很快又被释放，由于这些内存的申请不是为了创建对象，所以没有对象一级的内存池机制．这就意味着Python在运行期间会大量地执行malloc和free的操作，频繁地在用户态和核心态之间进行切换，这将严重影响Python的执行效率。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放］

３，内存池机制：经由内存池登记的内存不用了以后还是回收到内存池而不是返回给操作系统．
　　　Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的 malloc。另外Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数

参考：https://www.cnblogs.com/vamei/p/3232088.html

Python语言的特点

Python简单易学，既支持面向过程编程，也支持面向对象编程．所以对于开发者而言，使用python可以专注精力于逻辑问题而不是程序语言和语法上．
　　python免费开源，所以逐渐形成强壮的python社区，社区中有丰富的python库
　　python可以兼容众多平台
　　python几乎适用任何开发，它跟其他语言相比因为语法简洁库丰富，它显著提高了程序员的开发效率，一定程度上可以认为它牺牲了代码工作性能．
　　java是静态编译性语言，它编写时需要定义变量类型，编译后才可以运行，编辑过程中可以检查语法问题，运行时变量类型已经固定了．而Python是动态解释性语言，无需定义变量类型，也无需编译，直接在解释器环境下运行（边解释边执行）．
　　python动态性和解释性使得执行效率不够高成为必然

python数据类型

python的基本数据类型有str，tuple，list，dict，set和Number类型六种，其中数字类型里包括了bool，float，complex, int４种
　　可变数据类型：list，dict，set
　　不可变数据类型：str，tuple，Number

python字符串格式化方法

１）百分号方式
　　２）format方法

type 和isinstance区别

type()不会认为子类是一种父类类型
　　isinstance()会认为子类是一种父类类型

对GIL（Global Interpreter Lock)全局解释器锁的理解

GIL对多线程的影响简单可以理解为＂一个线程运行python，而其他N个睡眠或者等待I/O",也就是保证同一个时刻，只有一个线程对共享资源进行存取．多线程任务中，GIL的存在容易造成任务迟迟不被调度执行导致超时问题．实际工程项目中可以用多进程（每一个进程拥有一个GIL）或者协程方式替代多线程．

协同式多任务处理：当某个任务（比如I/O启动任务）在长的或者不确定的时间没有运行Python代码的需要就会让出GIL,从而其他线程可以获取GIL来运行python.　　multiprocess－>Thread

抢占式多任务处理：线程可以主动释放GIL，也可以先发制人抓取GIL. python程序运行分为两个阶段，第一，python文本被编译成字节码的二进制格式．第二，python解释器的pyeval_evalframeex()函数读取字节码，逐个执行其中指令．当解释器读取字节码时会定期放弃GIL,而不需要经过正在执行代码的线程允许．这样，其他线程就可以抢占GIL运行代码了．

参考：https://www.cnblogs.com/SuKiWX/p/8804974.html

同步异步，阻塞非阻塞

同步和异步是一种访问数据的机制，同步一般主动请求并且等待I/O操作完毕的方式，异步指请求数据后便可以继续处理其他任务，同时等待I/O操作完毕的通知
　　阻塞和非阻塞是指进程访问的数据如果尚未就绪，进程是否需要等待的问题（直接返回还是等待就绪），等待就绪的称为阻塞

参考：https://www.cnblogs.com/George1994/p/6702084.html

４，find 和grep?

  grep命令是一种强大的文本搜索工具，其搜索内容串可以是正则表达式，允许对文本文件进行模式查找．而find通常用来在特定目录下搜索符合条件的文件，也可以用来搜索特定用户属主的文件

５，线上服务因某种原因挂掉解决方案

  linux下的后台进程管理利器supervisor   每次文件修改后再linux执行servise supervisord restart

如何定位Python程序的性能问题

python有很多性能测试工具，比如 timeit、profile、cProfile、line_profiler、memory_profiler、PyCharm图形化性能测试工具、objgraph。其中timeit,profile,cProfile都是python内置模块，其余为第三方模块。
1）timeit只输出被测试代码的总运行时间，单位为秒，没有详细的统计
2）profile（python实现的）返回四个参数，ncall：函数运行次数；tottime： 函数的总的运行时间，减去函数中调用子函数的运行时间；第一个percall：percall = tottime / nclall ；cumtime:函数及其所有子函数调整的运行时间，即函数开始调用到结束的时间        第二个percall：percall = cumtime / nclall
3）cProfile是c语言实现的，返回结果同profile一样
4）line_profiler统计每行代码的执行次数和执行时间等，时间单位为微妙。使用时在                             需要测试的函数加上@profile装饰，运行命令为：kernprof -l -v C:\Python34\test.py 返回参数有Total Time：测试代码的总运行时间 ；Hits：表示每行代码运行的次数  ；Time：每行代码运行的总时间  ；Per Hits：每行代码运行一次的时间  % Time：每行代码运行时间的百分比
5) memory_profile可以统计每行代码占用的内存大小，使用时在需要测试的函数加上@profile装饰，运行命令为： python -m memory_profiler C:\Python34\test.py6）对于pycharm开发环境来说，可以直接在菜单栏上点击【run】-【Profile xxx.py】就可以看到统计和函数调用分析图
7）objgraph可以列出当前当前内存中存在的对象，可用于定位内存泄漏IPython是一个基于Python Shell的交互式解释器，它提供了很多Magic函数，其中%prun和%lprun分别用于统计个函数调用次数及耗时和统计各行代码的调用次数及时耗。

# -T选项指定写到的文本文件， -l选项指定只显示前多少行
# 另外也可以用 -l <partial func name> 来过滤，只保留name包含指定子串的函数
%prun -T ./res/prun.txt -l 20 f()
# 另外还有一个cell magic，叫 %%prun
# 它相当于把cell内的多行代码，合并成一行长代码；作为最后一个参数送给 %prun；以免用f()来封装代码的麻烦
#===================================================================================
# 没有-l选项了，只有-f和-m选项
# -f func1 -f func2 -m module1 -m module2 <code to profile> 表示只统计指定的func1和func2两个函数，以及module1和module2两个模块的代码行
# 注意-f指定的必须是可以找到的函数对象，不是函数名称的子串，这一点跟prun有区别
%lprun -T ./res/lprun.txt -f Detector.score_by_sliding_window f()

提升Python程序性能小技巧

1，生成器替换列表
2，直接迭代序列元素，比索引要快，eg：在访问arr数组中元素时，for item in arr比for i in range(len(arr))更快
3，尽可能使用映射替换条件搜索，映射的搜索速度更快，比如dict比if搜索快
4，尽可能使用局部变量，局部变量相对容易维护，而且局部变量的搜素速度更快，这样可以帮助提高性能和节省内存
5，减少函数调用，比如确定对象类型时，isinstance()>id()>type()；重复操作避免放置循环体内
6，先编译好再调用，避免重复编译
7，直接" ".join(arr)替换循环体内str拼接+

python异常处理

python的异常处理通常是用try/except去捕获异常
1）try…except… else（也可以没有else）

try:block1 #运行代码
except(Exception1,Exception2...) as e:block2 #如果block1出现上述异常；但如果block1没有出现上面指定的异常，则程序结束
else:block3 #如果block1无异常

2）try…except…else…finally

try:block1
except Exception as e:print e  #捕获异常
else:block2 # block1无发生异常
finally:block2 #无论block1是否发生异常都会执行

3）raise 触发用户自定义异常

class NetworkError(Exception):def __init__(self,arg):self.arg=argtry:raise networkError("bad hostname")
except NetworkError as e:print e.arg

with-block 上下文管理器

with是从Python2.5引入的一个新的语法，它是一种上下文管理协议，目的在于从流程图中把 try,except 和finally 关键字和资源分配释放相关代码统统去掉，简try….except….finlally的处理流程。显然，with是使用那些需要对资源进行访问的场景。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。所以with处理的对象必须有这两个方法。

# 基本结构
with expression [as  variable]:# expresiion就是上下文管理器， variable接收expression进入__enter__()函数后返回的对象with-block # 此处为执行代码，代码执行结束后wiexpression会调用__exit__()函数进行资源清理# for example
with open("xx.txt") as f:for line in f.readlines():print line

如果要自定义一个上下文管理器，那就需要定义一个实现__enter__（）和__exit__()的类

# 数据库连接
class DBConnection():def __init__(self):passdef cursor(self):passdef commit(self):passdef rollback(self):passdef __enter__(self):cursor = self.cursor()return cursordef __exit__(self, type, value, tb):if tb is none:# 无异常，提交事务self.commit()else:# 异常，回滚数据库self.rollback()def test():sql=""con = DBConnection()with con as cursor:cursor.execute(sql)

上述是自定义了一个上下文管理器，python的contextlib模块提供了封装好的实现自定义上下文管理器的方法。想要自定义上下文管理器时，只要借助contextlib模块中的装饰器contextmanager写一个生成器函数就可以了。

#定义生成器函数
@contextmanager
def transaction(db):db.begin()try:yield f   # yield前的代码相当于__enter__()函数,yield的返回值相当于__enter__()函数的返回值except :db.rollback()raiseelse:db.commit()if __name__=="__main__":db = MySQLdb.connect("localhost", "testuser", "test123", "TESTDB", charset='utf8' )with transaction(db) as cursor:cursor.execute(sql)    ~~删除线格式~~

Python常见笔/面试题相关推荐

python常见笔试题整理
1.统计在一个队列中的数字,有多少个正数,多少个负数 a = [1, 3, 5, 7, 0, -1, -9, -4, -5, 8]\# 用列表生成式,生新的列表 b = [i for i in a i ...
python常见编程面试题_python面试题基础部分 80题
1 为什么学习Python? 2 通过什么途径学习的Python? 3 Python和Java.PHP.C.C#.C++等其他语言的对比? 4 简述解释型和编译型编程语言? 5 Python解释器种类 ...
JavaWeb总结（常见笔面试题）
Http 1.网络编程要解决的两个主要问题 (1)如何准确的定位网络上的一台或者多台主机 (2)找到主机后如何可靠的进行有效的数据传输 2.IP负责网络主机的定位 TCP提供可靠的或是非可靠的数据传输 ...
110 道 Python 面试笔试题超强汇总
本 Chat 为免费基础入门篇,获取更多面试知识点请大家参阅我的另一个 Chat :致金三银四辛勤找工作的你们:Python 面试必备. 本 Chat 你将会获得以下知识: 110 道 Python ...
软件测试常见笔试题总结
http://t.csdn.cn/2fKts 软件测试常见笔试题总结 01 mysql 1.1 数据库操作 1.2 表结构操作 1.2.1 创建表 1.2.2删除表 1. 删除单张表: 2. 删除多个 ...
大厂常见笔试题滑动窗口内数的和
大厂常见笔试题,我以为出一个很难的题,结果出了一个基础题, 给你一个大小为n的整型数组和一个大小为k的滑动窗口,将滑动窗口从头移到尾,输出从开始到结束每一个时刻滑动窗口内的数的和. 样例对于数组 [ ...
常见的面试题整理 -python
常见的面试题整理在这里插入代码片 #二分查找def binarySearch(alist, item):first=0;last=len(alist)-1;while first <= las ...
java字符串笔试题_五道Java常见笔试题及答案汇总
1.String和StringBuffer的区别? 答:Java平台提供了两个类:String和StringBuffer,它们可以储存和操作字符串,即包含多个字符的字符数据.这个String类提供了数 ...
mysql @ $_mysql常见笔试题
一.Mysql常见笔试题 1.Mysql 中有哪几种锁? (1)表级锁:开销小,加锁快.不会出现死锁,锁定粒度大,发生锁冲突的概率高,并发度低. (2)行级锁:开销大,加锁慢.会出现死锁,锁定粒度小, ...

Python常见笔/面试题