python函数可以提高运行效率吗_python 多进程如何提高函数效率？

1 如何利用multiprocessing 库提高单个函数的执行效率

2 代码如下：

def f():

urls = ['http://yanbao.stock.hexun.com/listnews1_{}.shtml'.format(i) for i in range(1,5)]

d = {}

l1 = []

l2 = []

for url in urls:

con = requests.get(url).text

soup = BeautifulSoup(con, 'lxml')

stockname = [i.string.split('：')[0] for i in soup.find_all('a',class_ = 'fxx_wb')] #得到每个研报的链接

t = [i.string for i in soup.find_all(text=re.compile('\d+-\d+-\d'))] # 得到研报发布时间

l1.extend(stockname)

l2.extend(t)

d['stockname'] = l1

d['time'] = l2

return d

if __name__ == '__main__':

a = time.time()

p = Pool(4)

# # l.extend(p.map(f,urls))

info1 = p.apply_async(f)

p.close()

p.join()

print(info1)

print(time.time()-a)

c = time.time()

info2 = f()

print(info2)

print(time.time()-c)

3 urls这个变量是自己构造的，把range参数改变可以有很多。自己的想法是利用多进程执行这个函数，通过函数的返回值赋值给一个变量比如info1和info2,然后将info这个变量写入文件。

问题:1 多进程的方法所用时间没有明显减少，甚至要多，可能使用的方法不正确 2 在使用多进程时，如何把函数的返回值赋值给另一个变量。初学者，多指教

python函数可以提高运行效率吗_python 多进程如何提高函数效率？相关推荐

在python子程序中、使用关键字_Python 的控制和函数
控制if else for while 函数函数的定义函数一词来源于数学,但编程中的函数概念,与数学中的函数是有很大不同的,具体区别,我们后面会讲,编程中的函数在英文中也有很多不同的叫法.在BAS ...
python def函数报错详解_python所有内置函数的定义详解
>>> def hello_world(): ... print('Hello,world!') # 注意函数体要有缩进 ... >>> hello_w ...
python 在主线程开线程_Python开启线程,在函数中开线程的实例
逻辑处理上分成了多个模块,为了提高效率,前一个模块处理完调用后一个模块操作时使用多线程我这里遇到的情形是前面取数据后面存到mysql,发现单线程效率很低,改为取数据后开线程存到mysql 开启线程之 ...
python编写下载器可暂停_python多进程断点续传分片下载器
python多进程断点续传分片下载器标签:python 下载器多进程因为爬虫要用到下载器,但是直接用urllib下载很慢,所以找了很久终于找到一个让我欣喜的下载器.他能够断点续传分片下载,极大提 ...
python中高阶函数改写学生信息管理程序_python利用高阶函数实现剪枝函数
本文为大家分享了python利用高阶函数实现剪枝函数的具体代码,供大家参考,具体内容如下案例: 某些时候,我们想要为多个函数,添加某种功能,比如计时统计,记录日志,缓存运算结果等等需求: 在每个函 ...
python concat去除重复值语句_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...
摘要在进行数据分析时,我们经常需要对DataFrame去重,但有时候也会需要只保留重复值. 这里就简单的介绍一下对于DataFrame去重和取重复值的操作. 创建DataFrame 这里首先创建一个 ...
python去重保留唯一一个值_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...
摘要在进行数据分析时,我们经常需要对DataFrame去重,但有时候也会需要只保留重复值. 这里就简单的介绍一下对于DataFrame去重和取重复值的操作. 创建DataFrame 这里首先创建一个 ...
python怎么设置回文数_python如何写一个函数判断回文数？
python如何写一个函数判断回文数? python写一个函数判断回文数的方法: 设n是一任意自然数.若将n的各位数字反向排列所得自然数n1与n相等,则称n为一回文数.例如,若n=1234321,则称 ...
python标准输入如何一行一行读_Python 3提供了( )函数从标准输入(如键盘)读入一行文本。_学小易找答案...
[单选题]下列各项中,两个音节都属于零声母的是( ). (5.0分) [单选题]下列方法中,能够让所有单词的首字母变成大写的方法是( ). [判断题]"才华"和"菜花&q ...

python函数可以提高运行效率吗_python 多进程如何提高函数效率？

python函数可以提高运行效率吗_python 多进程如何提高函数效率？相关推荐

最新文章

热门文章