前言

昨晚写了个小爬虫，简单分析下发现可以修改请求的url，直接获取所有目标的数据。想先打印在控制台看看，发现打印的数据不全，一开始还以为被反爬虫了，获取的数据本身不全，后来将数据直接保存JSON文件（3兆多大小），用Ubuntu文档编辑器打不开（直接卡死），用vim打开发现数据完整（说明爬虫获取的数据本身没毛病），再在Pycharm用Python打开发现提示文件过大，打印在控制台也还是显示不全。

正文

原来Pycharm IDEA对能关联的文件大小做了限制，主要是为了保护内存，默认值为2500kb，这对爬虫用户来说相当不友好，但时安装软件的时候也不提醒下?

在Pycharm菜单找到Edit Custom Properties…

追加以下字段

idea.max.intellisense.filesize = 20000
idea.max.content.load.filesize = 20000
idea.cycle.buffer.size = 20000

其中20000代表限制大小为20000kb（暂时够用），可自行修改

重启Pycharm

Pycharm 打印大数据文件显示不全的解决方法相关推荐

Pycharm打开（打印）大数据文件显示不全的解决方法
Pycharm打开(打印)大数据文件显示不全,即控制台显示不完那么多行. 解决方法如下: -------------追加以下字段 idea.max.intellisense.filesize = 20 ...
pycharm打印结果折叠，显示不全，解决办法
问题所在当我用pycharm打印pandas代码结果的时候,发现它总是被折叠起来,被三个点所代替解决办法在打印结果前面加上下面两行代码即可,也就是说,我们需要将行和列的最大值限制给去掉即可. p ...
python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...
本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...
Excel中普通视图与打印预览内容显示不一致的解决方法
原文地址为: Excel中普通视图与打印预览内容显示不一致的解决方法一.问题:需要打印Excel表中的内容,但在"普通视图"中将格式调好后,点击"打印预览"一 ...
win7计算机出现空白图标,Win7程序图标变空白显示不全的解决方法
Win7系统中有很多程序图标,大家可点击图标来运行程序,有时候会遇到程序图标变空白,或者显示不全的问题,看起来非常奇怪,怎么回事呢?很大原因是图标缓存出错,有什么办法可以彻底解决问题?我们只要重建安图 ...
为什么文本框里的字只显示一半_Word文档中文字显示不全的解决方法有哪些
在Word 文档中,如果把段落中的文字字号设置大一点的字体,可能会出现文字显示不全的情况;表格中也可能出现这种情况,文字显示一半或都显示不出来,是什么原因?以下是学习啦小编为您带来的关于Word文档中 ...
html页面在ie上出现404怎么解决,ie浏览器网页上有错误显示不全的解决方法
ie浏览器网页上有错误显示不全的解决方法有时候打开网页发现内容的排版比较混乱,比如上下两行的文字部分重叠,字体大小看起来很不协调,本来是一行的文字显示成两行,等等.这是因为浏览器的设置出了问题,很多 ...
Chart控件X轴显示不全的解决方法
Chart控件X轴显示不全的解决方法参考文章: (1)Chart控件X轴显示不全的解决方法 (2)https://www.cnblogs.com/topmount/p/8430689.html 备忘 ...
【word 应用篇】word如何插入页码以及word插入图片显示不全的解决方法
文章目录 word如何插入页码.word插入图片显示不全的问题 1.word如何在某一页开始设置页码 2.word中插入图片时,图片会显示不全的解决方法 word如何插入页码.word插入图片显示不全 ...

Pycharm 打印大数据文件显示不全的解决方法

文章目录

前言

正文

在Pycharm菜单找到Edit Custom Properties…

重启Pycharm

Pycharm 打印大数据文件显示不全的解决方法相关推荐

最新文章

热门文章