本篇文章探讨了大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

需求:将mongodb 数据指定字段导出,然后再指定字段导入mysql  表中

直接上图吧,

最后 会将遇到几个问题及解决方案贴出,以便遇到类似问题可以迅速解决(期间所用命令具体用法不在本文详解之内)将mongodb 数据指定字段导出,所用命令Mongoexport ,具体查阅官方文档;

导出指定二级字段 Mongodb

/opt/mongodb/bin/mongoexport  --host yourip  --port yourport   -d app_form -c application_data  --csv  --out export2.csv  --fields   applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr

2. 在mysql 机器上 rsync 传输过来,rysnc 用法就不讲了,带过rsync -chavzP --stats yourusername@yourip:/home/mongodata/export.csv   /data/mysql/

3.导入mysql,这里有两种情况,一种是导入全新的表,另一种则是导入已存在的表,但是需要指定该表具体字段新表:

LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test  CHARACTER SET utf8  FIELDS TERMINATED BY ',' ENCLOSED BY '"';

老表指定字段:

LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test2  CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' (name,idcard,tellnumber, address);

结果验证:

导入成功;

4.疑难杂症1:mongo 导出时二级字段的正确导出方法

4.疑难杂症2:mysql导入时 ERROR 1366 (HY000): Incorrect string value: '\xF0\xA5\x8C\x93\xE5\x85...' for column 'address' at row 45293 解决 方法

这个问题很难解决,一般是认为utf8mb4 所导致,具体原因看下面,需要修改表的默认字符集,并以指定utf8mb4 导入;

ALTER TABLE temp_test2  CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;  修改即可1

4.疑难杂症3:mongo 导入时ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解决方法,sql_mode 的问题,需要修改;

5.其他问题,比如主键重复,字段大小不满足要求,等等小问题自行琢磨解决

本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

mongodb 导出指定数据库文件大小_大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决...相关推荐

  1. mongodb 导入 mysql_将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决...

    需求:将mongodb 数据指定字段导出,然后再指定字段导入mysql  表中 直接上图吧, 最后 会将遇到几个问题及解决方案贴出,以便遇到类似问题可以迅速解决(期间所用命令具体用法不在本文详解之内) ...

  2. 大数据导出excel大小限制_大数据量导出Excel的方案

    测试共同条件: 数据总数为110011条,每条数据条数为19个字段. 电脑配置为:P4 2.67GHz,1G内存. 一.POI.JXL.FastExcel比较 POI.JXL.FastExcel均为j ...

  3. 按一行一行的方法将一个文本文件复制到另一个文件中_大文件上的结构化数据计算示例...

    [摘要] 本文分析大文件计算的实现原理,如过滤.聚合计算.添加计算列.排序.分组聚合.topN 等,以及利用并行计算来提高计算速度,并用 esProc SPL 举例说明如何用简洁的脚本实现大文件计算. ...

  4. php 同时导出两个文件_使用orangehill/iseed自动反向生成数据填充文件

    问题描述:最近在学习laravel 需要用到数据反向保存到代码中 百度了好久 找到了orangehill/iseed 插件,网上的博客都是5.4以下版本的介绍,我用的则是laravel5.8 貌似不可 ...

  5. python运用在大数据中精准生活_大数据分析技术在生活中的广泛应用

    段雯琼++薛然++任亚丽 摘 要 文章介绍了大数据技术的即时性.准确性和预测性,并将大数据技术与公共交通.医药领域.移动通信网络优化相结合,从而方便了人们的生活,提高了人们的生活质量. [关键词]大数 ...

  6. 数据库初学者_面向初学者的免费6小时数据科学课程

    数据库初学者 Data science is considered the "sexiest job of the 21st century." Learn data scienc ...

  7. 大表与大表join数据倾斜_技术分享|大数据技术初探之Spark数据倾斜调优

    侯亚南 数据技术处 支宸啸 数据技术处 在大数据计算中,我们可能会遇到一个很棘手的问题--数据倾斜,此时spark任务的性能会比预期要差很多:绝大多数task都很快执行完成,但个别task执行极慢或者 ...

  8. 大数据项目开发案例_大数据分析技术——项目案例1(猫眼电影数据分析上)...

    壹 猫眼Top100电影数据分析概述 从这一节开始,我们就综合利用已学到的一些分析技术来尝试做一些比较复杂的实际数据分析项目.在这些实际的项目案例中,我们将会看到一个完整的数据分析流程:数据清理--数 ...

  9. 如何通过大数据技术分析舆情信息数据的方法

    对于不了解舆情大数据的,可能不太清楚舆情大数据是什么意思?甚至可能不知道大数据舆情监测要怎么做?而对于还没运用大数据技术,还在用传统的人工的方式监测舆情的,会有大数据舆情监测如何快速高效做好之类的疑问 ...

最新文章

  1. 命令行参数tail c语言,osg学习笔记2, 命令行参数解析器ArgumentParser
  2. 2021.02.04 Visual QA论文阅读
  3. python2与python3代码互相转化时注意事项
  4. 【EOJ Monthly 2019.01 - E】唐纳德先生与假骰子(假概率问题)
  5. 11纯代码 oc xcode_iOS代码染色原理及技术实践
  6. 解析markdown_利用 markdown 生成页面实践
  7. OC CoreData简单使用
  8. k8s学习: 使用 MetalLB 给测试环境配置LoadBalancer 服务
  9. 华为交换机配置链路聚合实验——Eth Trunk
  10. MIDI文件格式(一)
  11. 去掉 AD13 PCB网络连线中的双斜杠
  12. Linux中scp报 not a regular file错误解决方案
  13. 大学 University 2
  14. SNSyx荣光医院合成配方与药剂合成攻略
  15. InputStreamReader乱码
  16. 复旦大学python教学视频_B站资源推荐:复旦大学机器学习、深度学习公开课,附PDF课件下载...
  17. mysql 函数返回类型set_mysql自定义函数如何返回多个值
  18. nodejs mysql knex_nodejs之knex模块从安装到使用
  19. 《计算机应用》期刊审稿周期
  20. 开始学习Java啦!

热门文章

  1. 解决 MariaDB无密码就可以登录的问题
  2. 解决element 照片墙上传时回显问题
  3. Win2008 远程时提示“要登录到此远程计算机,您必须被授予允许通过终端登录登录的权限“的解决方法
  4. REST API 基于ACCESS TOKEN 的权限解决方案
  5. 双向LSTM在时间序列异常值检测的应用
  6. 找到多个与名为“ Home”的控制器匹配的类型
  7. 如何通过终端快速删除文件和目录(bash shell)[关闭]
  8. 提高SQLite每秒INSERT的性能?
  9. Spring Boot 与DBunit 配合使用
  10. 学习 spring-boot (一)