Neo4j-import导入CSV的数据

本文共1215个字，预计阅读时间需要4分钟。

最近有个上亿个关系/节点的数据需要导入到Neo4j，有以下几个工具可以导入：

Cypher CREATE 语句，为每一条数据写一个CREATE
Cypher LOAD CSV 语句，将数据转成CSV格式，通过LOAD CSV读取数据。
官方提供的Java API —— Batch Inserter
Batch Import 工具
neo4j-import 工具（Neo4j自带）

于是乎，毫不犹豫选择了最后一种。

Neo4j-import可用的参数命令：

遇到的坑

这个工具一般来说是放在Neo4j安装目录的bin文件夹下，也有可能在C盘用户的隐藏文件夹.Neo4jDesktop中的数据库文件下（比较隐蔽）
在CSV文件中需要提前编写好header，例如：
一般形式为名称:类型，用逗号分开，名称和类型必须要有一个，ID也是一个类型，它的名称可以忽略。包含的类型有：int、long、float、double、boolean、byte、short、char、string、point、date、localtime、time、localdatetime、datetime和duration中的一个来指定属性的数据类型。如果没有提供数据类型，则默认为string。若要定义数组类型，请将[]附加到该类型。

如果有多张实体表，他们可能有不同的ID，因此必须要在CSV文件中的头中增加名称空间，否则导入会报错。ID空间使用语法ID(<ID空间标识符>)在节点文件的ID字段中定义。要在关系文件中引用ID空间的ID，我们使用语法START_ID(<ID空间标识符>)和END_ID(<ID空间标识符>)。
例如我有两张表需要导入，需要在ID后面指定实体的名称空间。

movieId:ID(Movie-ID),title,year:int,:LABEL
personId:ID(Actor-ID),name,:LABEL

4.如果出现下面的问题：
Neo4j批量导入“neo4j-admin导入”OutOfMemoryError：Java堆空间和OutOfMemoryError：超出GC开销限制（Neo4j bulk import “neo4j-admin import” OutOfMemoryError: Java heap space and OutOfMemoryError: GC overhead limit exceeded）
说明分配的内存不够了，需要修改neo4j.conf的配置，这个文件可以从neo4j-import的上级文件夹中的某个子文件夹找到。
需要修改两个值

dbms.memory.heap.initial_size=4096m
dbms.memory.heap.max_size=16384m

最后我的电脑卡在了出现的第四个问题上，没办法电脑内存不够，于是我选择了使用CYPHER的LOAD语句导入CSV，可以采用USING periodic commit 10000这样的语法提高导入效率。

Neo4j-import导入CSV的数据相关推荐

Excel操作之获取数据——从Excel导入CSV文件数据
从excel导入csv文件数据:数据-->获取数据-->自文件-->从文本/CSV 选择文件,之后,点击转换数据在弹出的Power Query编辑器中,选择关闭并上载-->关 ...
MySQL LOAD DATA INFILE 导入 CSV 格式数据
主要介绍将 Neo4j 数据库中数据全部导入到 MySQL 数据库中,将 Neo4j 数据导出为 CSV 格式数据,然后再将 CSV 格式数据导入到 mysql 中. 前半部分,即 Neo4j 数据导 ...
mysql导入csv大数据
环境: ubuntu18.10 python3.6 数据集来自kaggle:ieee-fraud-detection中的identity_test.csv ###################### ...
python怎么导入csv文件数据-机器学习Python实践——数据导入（CSV）
一,CSV 逗号分隔值(逗号分隔值,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本).字幕:纯意味着该文件的英文一个字符序列,不含必须像二进制数 ...
使用sqlldr导入.csv文件数据到oracle相关配置亲测可用
一.创建一个emp. ctl文件,内容具体配置如下 Load data CHARACTERSET ZHS16GBK --编码 infile 'C:\Users\47641\Desktop\T_JCS ...
Linux如何通过csv导入neo4j,neo4j-import导入CSV 数据
neo4j-import 1.使用条件必须先关闭neo4j 无法在原有数据库添加,只能重新生成一个数据库导入文件格式为csv 2.参数 –into:数据库名称 –bad-tolerance:能容忍 ...
sqlite 数据量_向SQLite批量导入csv,txt数据
将csv或者txt格式的文件导入SQLite一般有两种方式: 使用pandas.readcsv()读取后,用to_sql方法写入数据库使用SQLiteStudio创建表格,再导入数据但是这两种方法 ...
MySQL中导入CSV文件数据
-- 创建并使用数据库. CREATE DATABASE IF NOT EXISTS `rdsdb`; USE `rdsdb`;-- 创建表 DROP TABLE IF EXISTS `cx_sock ...
mysql导入csv文件第一行有问题_mysql 导入 csv文件中数据，只能导入第一行
用workbench导入csv数据,只能导入数据的第一行,也就是标注每一列的列名的那一行. 但问题是,每次导入完成时,系统提示已经导入了500条记录(这个文件中的确有500条记录),可是刷新数据库后打 ...
mysql数据导入导出 CSV格式_MySQL中导入导出CSV格式数据
原标题:MySQL中导入导出CSV格式数据预备阅读:MySQL中的主键问题和赋权限问题今天来讲一下在MySQL中导入和导出CSV格式数据的操作. CSV格式数据逗号分隔值(Comma-Separ ...

Neo4j-import导入CSV的数据

Neo4j-import导入CSV的数据相关推荐

最新文章

热门文章