python 提高文件查询效率_Python 大量小文件存储提高效率的简单示例

这篇文章主要为大家详细介绍了Python 大量小文件存储提高效率的简单示例，具有一定的参考价值，可以用来参考一下。

对python这个高级语言感兴趣的小伙伴，下面一起跟随512笔记的小编两巴掌来看看吧！

在WEB开发中经常会遇到写文件的情况，最常见的莫过于保存图片文件。如果是文件数量不多，那我们完全没有必要担心其效率问题。但是当你有大量的用户，大量的图片的时候，我们怎么存储图片文件，就会直接影响整个图片存储系统的效率。

通常，有一种说法是：如1个目录下有10000个子文件，那么读取某个文件的速度将会明显下降。那这种说法到底正确不正确呢？下面我们来看一下：

问：为什么单目录下子文件过多会影响性能?如1个目录下有10000个子文件，那么读取某个文件的速度将会明显慢下来?这和文件索引有关吗?索引中如何组织这些节点?

答：是的，与索引有关。1w个不算多。上百万个就看出来了。但是建议不要超过10000个。

问：上百万个慢是文件系统整体吧，那么和当前目录怎么关系上呢?一个差不多的文件系统支持几百万个文件不算什么

答：我是说一个目录下，不分子目录，直接放他几十万上百万的文件，此时检索这个目录索引很费资源。

支持数量有限是因为目录这个对象本身容纳的大小有被限制，目录就是一个容纳文件名和文件对应inode号的容器，被限制了，那么容纳的条目也就被限制了。

读取某个文件速度没影响。但是查找就费劲了。某些文件系统的索引机制不完善，甚至没有什么优化算法，致使每次查找耗费更多的时间。

从上面的问答我们可以知道，“如1个目录下有10000个子文件，那么读取某个文件的速度将会明显下降。”的说法是对的。那如何分目录呢？

其实也比较简单，可以按月份分，hash分，时间加hash组合分，至于用哪种方法，那就要看你的项目需求了。。。

注：关于Python 大量小文件存储提高效率的简单示例的内容就先介绍到这里，更多相关文章的可以留意512笔记的其他信息。

关键词：文件存储

您可能感兴趣的文章

python 提高文件查询效率_Python 大量小文件存储提高效率的简单示例相关推荐

python按行读取文件效率高吗_Python按行读取文件的实现方法【小文件和大文件读取】...
本文实例讲述了Python按行读取文件的实现方法.分享给大家供大家参考,具体如下: 小文件: #coding=utf-8 #author: walker #date: 2013-12-30 #func ...
加快windows上对大文件，以及很多很多小文件进行不同磁盘拷贝的速度——windows上的最快拷贝软件FastCopy
欢迎大家关注笔者,你的关注是我持续更博的最大动力原创文章,转载告知,盗版必究加快windows上对大文件,以及很多很多小文件进行不同磁盘拷贝的速度--windows上的最快拷贝软件FastCopy ...
java将一个大文件拆分成几个小文件输出
java读取一个大文件写到多个小文件最近看Java面试中有问到关于利用java io流,读取一个大文件,然后输出到几个小文件的问题,这里自己写了个简单的sample public static vo ...
python读取大文件的某行_Python按行读取文件的实现方法【小文件和大文件读取】...
本文实例讲述了Python按行读取文件的实现方法.分享给大家供大家参考,具体如下: 小文件: #coding=utf-8 #author: walker #date: 2013-12-30 #func ...
python中写入csv文件的方法_Python写入CSV文件的方法
python笔记5-python2写csv文件中文乱码问题前言 python2最大的坑在于中文编码问题,遇到中文报错首先加u,再各种encode.decode. 当list.tuple.dict里面 ...
python实现火车票查询工具_Python 实现一个火车票查询的工具
原标题:Python 实现一个火车票查询的工具作者 sexycoder 本文转载自简书,转载需授权使用 python 实现一个查询火车票的小工具主要功能: 输入出发车站,到达车站,时间,然后返回 ...
python数据存储用什么_Python的小数据存储，用什么格式更有逼格？
小数据存储我们在编写代码的时候,经常会涉及到数据存储的情况,如果是爬虫得到的大数据,我们会选择使用数据库,或者excel存储.但如果只是一些小数据,或者说关联性较强且存在存储后复用的数据,我们该如何 ...
python读取大文件的坑_Python读取大文件的坑“与内存占用检测
python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. 1. ...
python创建文件夹覆盖_Python 创建新文件时避免覆盖已有的同名文件的解决方法...
思路:创建文件时,先检查是否有同名文件(使用os.path.isfile),如果有,则在文件名后加上编号n来创建. 关键点: 1. 使用os.path.isfile判断文件是否存在 2. 使用递归函数 ...

python 提高文件查询效率_Python 大量小文件存储提高效率的简单示例

python 提高文件查询效率_Python 大量小文件存储提高效率的简单示例相关推荐

最新文章

热门文章