pyspark-mongo-input-output

1.创建pyspark与mongodb的连接，首先加载依赖包，其有三种方式：

1）直接将其放在在安装spark的jars目录下；

2）在spark_submit中，添加依赖包信息；

3）在创建spark的对象的时候添加依赖信息，具体案例如下图所示

spark = SparkSession
.builder
.appName(‘mongo connection’)
.config(“spark.mongodb.input.uri”, “mongodb://节点:端口号/dev.myCollection?readPreference=primaryPreferred”)
.config(“spark.mongodb.output.uri”, “mongodb://节点:端口号/dev.myCollection”)
.config(‘spark.jars.packages’, “org.mongodb.spark:mongo-spark-connector_2.11:2.4.2”)
.getOrCreate()
备注：

config的信息，都可以在spark_submit中添加。

2.读取mongodb

df1 = (
spark.read
.format(“mongo”)
.option(“database”, ‘dev’)
.option(“collection”, ‘test_mongo_connect’)
.load()
)

3.写入mongodb

df = spark.createDataFrame([(1,), (2,)], [‘a’])
(
df.write
.format(“mongo”)
.mode(“overwrite”)
.option(“database”, ‘dev’)
.option(“collection”, ‘test_mongo_connect’)
.save()
)

pyspark-mongo-input-output相关推荐

关于OSD::mkfs: ObjectStore::mkfs failed with error (5) Input/output error问题的解决
环境: ceph L版本12.2.1升级到12.2.12 这个问题是由于升级后进行12.2.12环境中的使用ceph-disk 进行osd部署时出现如下问题,执行命令 ceph-disk -v pre ...
报错解决transmission: Error: Input/Output error和ls: reading directory '': Input/output error
transmission: Error: Input/Output error 晚上想用transmission下载新的种子时报错:Error: Input/Output error. 我很奇怪,先运 ...
python3 报错 [Errno 5] Input/output error 没有stdout时使用了print
过程描述刚不久用 Tornado 写了一个项目,本打算部署在 Nginx 上,但是因为公司的一些原因就没有使用 Nginx,直接在命令行中启动当我从命令行以后台的方式启动以后,是可以正常访问的 p ...
colab出现input output error问题
原因是文件太多,清理一下回收站,尝试用先从 !cp path/to/data.csv local.csv 为什么 drive.mount() 有时会失败,并提示"超时"?为什么在通 ...
Debug Tensorflow: TypeError: Cannot convert a symbolic Keras input/output to a numpy array.
问题 'Cannot convert a symbolic Keras input/output to a numpy array. ' TypeError: Cannot convert a sym ...
Angular中父子组件传值@Input @Output @ViewChild最全面最简单的总结
父组件传递给子组件: 值传递方式:@Input既可以传递数据也可以传递方法传递数据(不举例了) 传递方法 // 父组件定义方法 parentRun(){alert('这是父组件的 run 方法'); ...
html5 填表表单 input output 与表单验证
1.<output> Js计算结果 <form οninput="res.value = num1.valueAsNumber*num2.valueAsNumber ...
linux-x86_64 error,Linux-x86_64 Error: 5: Input/output error的问题
今天朋友的测试库报错, ORA-27072: File I/O error, Linux-x86_64 Error: 5: Input/output error,数据块已经不能正常启动,看到 Linu ...
docker中java应用new FileOutputStream直接报Input/output error
为什么80%的码农都做不了架构师?>>> 一个docker容器中跑着java应用,是一个定时任务,每天拉取远端文件包存到本机,命名为:decrypt-20181020 就在这一 ...
硬盘故障时如何强制关机：Input/output error
如果硬盘可能会出现锁死或坏道的故障,会造成SHELL命令的失效,包括 reboot,powoff,,shutdown,用正常的命令是没法完成重启的. 执行这些命令,会出现如下IO报错: reboot ...

pyspark-mongo-input-output

pyspark-mongo-input-output相关推荐

最新文章

热门文章