jupyter kernel_如何在Jupyter笔记本中运行Scala和Spark

Jupyter笔记本是数据科学项目中最常用的工具之一。这是使用python开发软件的绝佳工具，并为此提供了强大的支持。它也可以与spylon内核一起用于scala开发。这是一个额外的内核，必须单独安装。

第一步：安装软件包

pip install spylon-kernel

第二步：创建内核规范

这将使我们能够在笔记本中选择scala内核。

python -m spylon_kernel install

第三步：启动Jupyter Notebook

ipython notebook

然后在笔记本中，选择New-> spylon-kernel。这将启动我们的scala内核。

步骤4：测试笔记本

让我们写一些scala代码：

val x = 2val y = 3x+y

输出结果应与左图中的结果相似。如您所见，它还会启动火花组件。为此，请确保已设置SPARK_HOME。

现在我们甚至可以使用spark。让我们通过创建数据集进行测试：

val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))val ds = spark.createDataset(data)ds.show()

这应该输出一个简单的数据框：

我们甚至可以使用％python命令在此内核中使用python：

%%pythonx=2print(x)

有关更多信息，您可以访问spylon-kernel github页面。具有上述代码的笔记本可在此处获得。

(本文翻译自Bogdan Cojocar的文章《How to run Scala and Spark in the Jupyter notebook》，参考：https://medium.com/@bogdan.cojocar/how-to-run-scala-and-spark-in-the-jupyter-notebook-328a80090b3b)

jupyter kernel_如何在Jupyter笔记本中运行Scala和Spark相关推荐

如何在Docker容器中运行GUI程序
如何在Docker容器中运行GUI程序各位,今天我们将学习如何在Docker之中运行GUI程序.我们可以轻易地在Docker容器中运行大多数GUI程序且不出错.Docker是一个开源项目,提供了一个 ...
html运行applet idea,如何在Intellij IDEA中运行Applet？
我正在尝试为我的网络课程运行these applets.当我试图在浏览器中从链接运行它们时,它们什么都不做.所以我决定尝试在IntelliJ中编译它们,但是当我运行代码时它并没有做任何事情.没有错误消 ...
安卓linux shell,如何在Android SHELL中运行C应用程序
我想运行在C上编写的hello世界,并使用 Android toolchain 9进行编译,但是我遇到了问题:默认情况下,我没有权限启动它,我无法使用chmod来更改权限. 我使用Android 2. ...
aws lambda_它会融合吗？或如何在AWS Lambda中运行Google Chrome
aws lambda Yes, you read that right: this article is about running Google Chrome (the browser) in AW ...
如何在Docker容器中运行Docker [3种方法]
在本博客中,我将向您介绍在docker中运行docker所需的三种不同方法. Docker In Docker的用处 dockerIndocker的一个潜在用处是CI管道,在代码成功构建后,您需要在其 ...
Beats：如何在 Docker 容器中运行 Filebeat
今天在这篇博客中,我们将学习如何在容器环境中运行 Filebeat. 为了快速了解 Filebeat 是做什么用的: Filebeat用于转发和集中日志数据它重量轻,小型化,使用的资源更少它作为代 ...
如何在VS Code中运行C或C++程序
前言众所周知,VS Code源代码编辑器,是目前最为流行的代码开发工具之一,特别受到Web前端开发者的青睐,当然还有大名鼎鼎的HBuilder X也是非常给力的,我们可以根据自己的需要去选择. 由于 ...
如何在Python程序中运行Unix命令
Unix是由Ken Thompson和Dennis Ritchie在1969年左右在AT&T贝尔实验室开发的操作系统. 我们可以使用许多有趣的Unix命令来执行不同的任务. 问题是,我们可以直 ...
python怎么打开笔记本_如何在IPython笔记本中打开交互式matplotlib窗口？
我正在使用带有–pylab = inline的IPython,并且有时希望快速切换到交互式,可缩放的matplotlib GUI以查看绘图(当您在终端Python控制台中绘制内容时弹出的那个).我怎么 ...

jupyter kernel_如何在Jupyter笔记本中运行Scala和Spark

jupyter kernel_如何在Jupyter笔记本中运行Scala和Spark相关推荐

最新文章

热门文章