作者：Parul Pandey

来源：SQL数据库开发

一些小的技巧在编程领域可能会非常有用，在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文，分享了在数据科学中非常实用的 10 个小技巧。

有时候，一点小小的黑客行为可以节省时间，挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物，并且可以真正提高生产力。所以，下面是我最喜欢的一些技巧，我以本文的形式一起使用和编译它们。其中，有些可能是相当有名的，有些可能是新的，但我相信下次您从事数据分析项目时，它们会非常有用。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序，而 Pandas Profiling 正是实现这一点的一个 python包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe（）和 df.info（）函数通常用作 EDA 过程的第一步。但是，它只提供了非常基本的数据概述，对于大型数据集没有太大帮助。另一方面，pandas 分析函数使用 df.profile_report（）扩展 pandas 数据帧，以便快速进行数据分析。它用一行代码显示了大量信息，在交互式 HTML 报告中也显示了这些信息。

对于给定的数据集，pandas 分析包计算以下统计信息：

Pandas Profiling 包计算统计信息

安装

pip install pandas-profiling

--或者

conda install -c anaconda pandas-profiling

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

#importing the necessary packages
import pandas as pd
import pandas_profiling

# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)

注：在这篇文章发表一周后，Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化，事实上，功能已经包含在 pandas 中，报告也变得更加全面。以下是最新的语法用法：

使用

要在 Jupyter notebook 中显示报告，请运行：

#Pandas-Profiling 2.0.0
df.profile_report()

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细，必要时包括图表。

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")

2.为 pandas plots 带来交互性

pandas 有一个内置的.plot（）函数作为数据帧类的一部分。然而，用这个函数呈现的可视化并不是交互式的，这使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot（）函数绘制图表的易用性。如果我们不需要对代码进行重大修改，就可以像绘制 pandas plots那样绘出交互式图表呢？你可以在 Cufflinks 库的帮助下做到这一点。

Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来，便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

安装

pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks

使用

#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf

import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)

是时候用 Titanic 数据集来展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右视图显示的是静态图表，左图表是交互式的，更详细地说，所有这一切在语法上都没有重大变化。

3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数，旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下，您可以看到所有可用的 magic。

所有可用的 magic 函数列表

magic 命令有两种：行 magics（前缀为一个% 字符并在一行输入上操作）和单元 magics（用%% 前缀关联并在多行输入上操作）。如果设置为 1，则可以调用 magic 函数，而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能：

% pastebin

%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务，我们可以在其中存储纯文本（如源代码片段），然后可以与其他人共享 URL。事实上，Github gist 也类似于 Pastebin，尽管有版本控制。

考虑使用包含以下内容的 python script file.py：

#file.py
def foo(x):
    return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件，以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

%matplotlib inline vs %matplotlib notebook

• %run

%run 函数在 notebook 内运行 python 脚本。

%run file.py

• %%writefile

%WriteFile 将单元格的内容写入文件。在这里，代码将被写入一个名为 foo 的文件，并保存在当前目录中。

• %%latex

%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

4.发现和消除错误

interactive debugger 也是一个神奇的函数，但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常，请在新行中键入%debug 并运行它。这将打开一个交互式调试环境，将您带到发生异常的位置。您还可以检查程序中分配的变量值，并在此处执行操作。要退出调试器，请单击 q。

5.输出也可以很漂亮

如果您想为数据结构生成美观的表示，pprint 是你想要的模块，它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。

6.突出报警框

我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

蓝色警报框：信息提示

	Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.

黄色警报框：警告

	Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

绿色警报框：成功

	Use green box only when necessary like to display links to related content.

红色警报框：危险

	It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.打印单元格的所有输出

考虑一个包含以下代码行的 Jupyter notebook 单元：

In [1]: 10+5          
         11+6

Out [1]: 17

通常情况下，单元格中只有最后一个输出会被打印出来，对于其他输出，我们需要添加 print（）函数。好吧，其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

现在所有的输出都被一个接一个地打印出来

In [1]: 10+5          
         11+6
         12+7

Out [1]: 15
Out [1]: 17
Out [1]: 19

要恢复到原始设置：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件运行 python 脚本

从命令行运行 python 脚本的一种典型方法是：python hello.py。但是，如果您在运行同一脚本（如 python）时添加了一个额外的-i hello.py，那么它提供了更多的优势。让我们看看怎么做。

首先，只要程序不结束，python 就不会退出解释器。因此，我们可以检查变量的值以及程序中定义的函数的正确性。

其次，我们可以通过以下方式轻松调用 Python 调试器，因为我们仍在解释器中：

import pdb
pdb.pm()

这将使我们进入异常发生的位置，然后我们可以处理代码。

查看来源可以点击这里。

9.自动注释代码

ctrl/cmd+/自动将单元格中选定的行注释掉，再次点击组合将取消对同一行代码的注释。

10.删除容易恢复难

你有没有不小心删除了 Jupyter notebook 上的一个单元的经历？如果有，那么这里有一个快捷方式可以撤消删除操作。

如果删除了单元格的内容，则可以通过按 ctrl/cmd+z 轻松恢复该内容。

如果需要恢复整个已删除单元格，请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。

结论

在本文中，我列出了在使用 Python 和 Jupyter notebook时收集到的主要技巧。我相信它们会对你有用，你会从这篇文章中收回一些东西。好了，开始快乐的编码之旅吧！