一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文,分享了在数据科学中非常实用的 10 个小技巧。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序,而 Pandas Profiling 正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe()和 df.info()函数通常用作 EDA 过程的第一步。但是,它只提供了非常基本的数据概述,对于大型数据集没有太大帮助。另一方面,pandas 分析函数使用 df.profile_report()扩展 pandas 数据帧,以便快速进行数据分析。它用一行代码显示了大量信息,在交互式 HTML 报告中也显示了这些信息。

对于给定的数据集,pandas 分析包计算以下统计信息:

Pandas Profiling 包计算统计信息

安装

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

注:在这篇文章发表一周后,Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化,事实上,功能已经包含在 pandas 中,报告也变得更加全面。以下是最新的语法用法:

使用

要在 Jupyter notebook 中显示报告,请运行:

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细,必要时包括图表。

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

2.第二步,为 pandas plots 带来交互性

pandas 有一个内置的.plot()函数作为数据帧类的一部分。然而,用这个函数呈现的可视化并不是交互式的,这使得它不那么吸引人。相反,也不能排除使用 pandas.dataframe.plot()函数绘制图表的易用性。如果我们不需要对代码进行重大修改,就可以像绘制 pandas plots 那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。

Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来,便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

是时候用 Titanic 数据集来展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右视图显示的是静态图表,左图表是交互式的,更详细地说,所有这一切在语法上都没有重大变化。

点击这里获取更多的示例。


3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数,旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下,您可以看到所有可用的 magic。

所有可用的 magic 函数列表

magic 命令有两种:行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%% 前缀关联并在多行输入上操作)。如果设置为 1,则可以调用 magic 函数,而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能:

% pastebin

%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务,我们可以在其中存储纯文本(如源代码片段),然后可以与其他人共享 URL。事实上,Github gist 也类似于 Pastebin,尽管有版本控制。

考虑使用包含以下内容的 python script file.py:

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件,以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

%matplotlib inline vs %matplotlib notebook

%run

%run 函数在 notebook 内运行 python 脚本。

%run file.py

%%writefile

%WriteFile 将单元格的内容写入文件。在这里,代码将被写入一个名为 foo 的文件,并保存在当前目录中。

%%latex

%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

4.发现和消除错误

interactive debugger 也是一个神奇的函数,但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常,请在新行中键入%debug 并运行它。这将打开一个交互式调试环境,将您带到发生异常的位置。您还可以检查程序中分配的变量值,并在此处执行操作。要退出调试器,请单击 q。

5.输出也可以很漂亮

如果您想为数据结构生成美观的表示,pprint 是你想要的模块,它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。

6.突出报警框

我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

7.打印单元格的所有输出

考虑一个包含以下代码行的 Jupyter notebook 单元:

In [1]: 10+5

11+6

Out [1]: 17

通常情况下,单元格中只有最后一个输出会被打印出来,对于其他输出,我们需要添加 print()函数。好吧,其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。

现在所有的输出都被一个接一个地打印出来

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

要恢复到原始设置:

8.使用「i」文件运行 python 脚本

从命令行运行 python 脚本的一种典型方法是:python hello.py。但是,如果您在运行同一脚本(如 python)时添加了一个额外的-i hello.py,那么它提供了更多的优势。让我们看看怎么做。

首先,只要程序不结束,python 就不会退出解释器。因此,我们可以检查变量的值以及程序中定义的函数的正确性。

其次,我们可以通过以下方式轻松调用 Python 调试器,因为我们仍在解释器中:

这将使我们进入异常发生的位置,然后我们可以处理代码。

查看来源可以点击这里。

9.自动注释代码

ctrl/cmd+/自动将单元格中选定的行注释掉,再次点击组合将取消对同一行代码的注释。

10.删除容易恢复难

你有没有不小心删除了 Jupyter notebook 上的一个单元的经历?如果有,那么这里有一个快捷方式可以撤消删除操作。

如果删除了单元格的内容,则可以通过按 ctrl/cmd+z 轻松恢复该内容。

如果需要恢复整个已删除单元格,请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。

结论

在本文中,我列出了在使用 Python 和 Jupyter notebook 时收集到的主要技巧。我相信它们会对你有用,你会从这篇文章中收回一些东西。好了,开始快乐的编码之旅吧!.

python latex显示不出来_10 个加速Python数据分析的简单的小技巧相关推荐

  1. python sum函数numpy_如何用numba加速python?

    我把写好的markdown导入进来,但是没想到知乎的排版如此感人.如果对知乎排版不满想要看高清清爽版,请移步微信公众号原文 如何用numba加速python?同时欢迎关注 前言 说道现在最流行的语言, ...

  2. python的最佳开发工具_10款最佳Python开发工具推荐,每一款都是神器!

    1. 最强大的终端:Upterm原来想推荐鱼或zsh,但事实上,我主要是想自动完成这个功能.最近使用的Upterm其实是非常简单易用.它是一个全平台终端,这可以说是一个IDE终端,强大的自动完成功能. ...

  3. linux下载python numba,安装numba和使用numba加速python程序

    这是从其他博客粘贴过来,备份的.原文在:http://www.cnblogs.com/freeweb/p/6652607.html 使用Cython来加速python程序的运行速度,但是相对来说程序改 ...

  4. notepad运行python不能显示输出_用Notepad++运行python怎么什么都没有呢

    展开全部 简答: 是的. 详解: 本来就是要在cmd中运行Python程序.e5a48de588b662616964757a686964616f31333332636363 (当然,你要非要额外继承一 ...

  5. python能做哪些单机游戏好玩_【单机游戏】可以快速用Python进行数据分析的几个小技巧_玩得好游戏攻略...

    数据分析不仅是数据分析师.数据挖掘工程师.数据科学家的必备技能之一,也是日常工作中进行业务分析的不可或缺的环节. 欢迎点击上方"关注",公众号将持续提供优质内容 一些小提示和小技巧 ...

  6. python中template是什么意思啊_Python中Template使用的一个小技巧

    Python中Template是string中的一个类,可以将字符串的格式固定下来,重复利用. from string import Template s = Template("there ...

  7. python颜色表_Python:数据可视化,必须注意的30个小技巧

    原标题:Python:数据可视化,必须注意的30个小技巧 优秀的数据可视化图表只是罗列.总结数据吗?当然不是!数据可视化其真正的价值是设计出可以被读者轻松理解的数据展示,因此在设计过程中,每一个选择, ...

  8. python中文显示不出来_彻底解决Python里matplotlib不显示中文的问题

    在很长一段时间里用Python绘图,matplotlib都不能很好的显示中文,起初是认为我的pycharm里的设置问题,但是发现同样的问题在spyder里也同样的出现了,虽然有的地方可以用英文实在不行 ...

  9. python中显示第三行数据_在Python中Dataframe通过print输出多行时显示省略号的实例...

    笔者使用python进行数据分析时,通过print输出dataframe中的数据,当dataframe行数很多时,中间部分显示省略号,如下图所示: 0 项华祥 1 何炅 2 张艺飞 3 李仁港 4 崔 ...

最新文章

  1. Latex使用技巧01:改变数学公式字体的颜色
  2. 库克:AR将成为下一个核心科技,苹果是地球上竞争对手最多的企业
  3. Nginx平滑升级,并增加清除缓存模块
  4. jQuery给css增加!important
  5. java StringBuffer常用方法
  6. Oracle查看正在执行的存储过程的sid
  7. Shell编程之条件语句(if语句,case分支语句)
  8. Sass mixin与extends、%placeholder、function
  9. Debian 10(buster) 更换国内软件源
  10. 海量数据库解决方案2011022101
  11. 斯坦福教授亲自上课!字节跳动夏令营超硬核课程实践项目等你来战
  12. [Java]HashMap的两种排序方式
  13. 使用Echarts绘制力导向图
  14. 世界各国Google域名后缀对照表
  15. 苹果App Store商店中国区如何改为美国区
  16. 触摸屏与usb鼠标同时支持
  17. 计算机类论文答辩常见问题——软件开发类题目
  18. C++ Reference: Standard C++ Library reference: C Library: cmath: fma
  19. eSIM(Embedded-SIM)-嵌入式SIM卡
  20. 走进Cosmos之入门

热门文章

  1. quartus仿真28:JK触发器实现的脉冲分配器(分析)
  2. 汇编考试一星题目对字母操作,输入字符并在屏幕上显示
  3. 贺利坚老师汇编课程46笔记:操作符offset取得标号的偏移地址
  4. AD19妙用SHIFT+S查找没连的线
  5. 打开AD16的库librarry
  6. java stream collect_java流stream中的collect()方法详解
  7. python使用小记2-csv文件处理
  8. wuzhicms内的全局函数--load_class()
  9. [转载] Java中自定义异常的声明与处理
  10. [转载] Java单例模式与构造器私有化