程序遍历MySQL然后插入Redis,效率极低。利用redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令设计的。可以把Mysql查询的内容格式化成redis-cli可用数据格式。

1, 根据表创建一个sql,将数据转换为redis可用的格式

(1) 表结构

(2) Redis的数据格式

*3\r\n 命令起始,定义共3个输入参数

$3\r\n 下一个参数字节长度

SET\r\n 命令参数

$3\r\n 下一个参数字节长度

key\r\n 变量参数

$5\r\n 下一个参数字节长度

value\r\n 值参数

注意:此处的\r\n为换行符,不是输入的字符。linux下导出文件分隔符是\r\n,而windows下是\n。

(3) 创建sql文件,sql语句是将数据转为redis可接收的语句

SELECT CONCAT(

"*4\r\n",

'$', LENGTH(redis_cmd), '\r\n',

redis_cmd, '\r\n',

'$', LENGTH(redis_key), '\r\n',

redis_key, '\r\n',

'$', LENGTH(hkey), '\r\n',

hkey, '\r\n',

'$', LENGTH(hval), '\r\n',

hval, '\r'

)

FROM (

SELECT

'HSET' as redis_cmd,

CONCAT('pid:' ,PID) AS redis_key,

ID AS hkey,

AREANAME AS hval

FROM td_area

) AS t

2,在有mysql客户端的机器执行命令

mysql -uroot -p123456 -h 127.0.0.1 database --skip-column-names --raw < /home/redis.sql | /usr/local/redis/bin/redis-cli -p 6380 --pipe

重要的mysql参数说明:

--raw: 使mysql不转换字段值中的换行符。

--skip-column-names: 使mysql输出的每行中不包含列名。

然而在我的使用过程中发现了一个问题,由于业务关系,我的基础业务数据库中会存在空列,而这个又是关键数据,需要迁移到Redis中的。单纯利用上述的SQL语句,进行操作的时候,Redis-cli会抛出“Unknown Command NULL on Redis.”

我们知道,Redis是可以存储二进制数据的(而实际上Redis存储的Value都是二进制格式存储的),所以空数据理论上是可以存入的。然而根据观察,Redis的空数据,表现为空字符串形式,即“”。所以,我们需要将我们数据库中为NULL的数据,转换成为“”进行输出

SELECT CONCAT(

"*4\r\n",

\'$\', LENGTH(redis_cmd), \'\r\n\',

redis_cmd, \'\r\n\',

\'$\', LENGTH(redis_key), \'\r\n\',

redis_key, \'\r\n\',

\'$\', LENGTH(hkey), \'\r\n\',

hkey, \'\r\n\',

\'$\', LENGTH(hval), \'\r\n\',

hval, \'\r\'

)

FROM (

SELECT

\'HSET\' AS redis_cmd,

\'david\' AS redis_key,

myname AS hkey,

if(mymoney is not null, mymoney, '') AS hval

FROM david_lin

) AS t;

收藏列表放入MySQL还是redis_mysql导入redis相关推荐

  1. 通过管道传输快速将MySQL的数据导入Redis(自己做过测试)

    通过管道传输快速将MySQL的数据导入Redis 通过管道传输pipe将MySQL数据批量导入Redis       自Redis 2.6以上版本起,Redis支持快速大批量导入数据,即官网的Redi ...

  2. 通过管道传输快速将MySQL的数据导入Redis

    通过管道传输pipe将MySQL数据批量导入Redis       自Redis 2.6以上版本起,Redis支持快速大批量导入数据,即官网的Redis Mass Insertion,即Pipe传输, ...

  3. 用python爬取高考网历年高考分数线将数据放入MySQL并绘制图表

    用python爬取高考网历年高考分数线 # 导入爬虫的库 import requests from lxml import etree # 导入画图库 from pyecharts.charts im ...

  4. python爬取豆瓣电影top250_利用python爬取豆瓣电影Top250,并把数据放入MySQL数据库...

    在学习了python基础后,一心想着快速入门爬虫,因为我就是为爬虫而学的python,所以就找了这个豆瓣电影来爬取.好了,废话不多说,进入正题 1.找到网页并分析网页结构 首先进入豆瓣电影Top250 ...

  5. kafka拉取mysql数据库_kafka里信息用flink获取后放入mysql

    1. 安装zookeeper, kafka 2. 启动zookeeper, kafka server 3. 准备工作 在Mysql数据库创建一个table, t_student 加入maven需要的f ...

  6. mysql 参数 列 排序_将参数放入MySQL IN()后,按降序对列进行排序?

    为此,将FIELD()方法与DESC一起使用.让我们首先创建一个表-mysql> create table DemoTable -> ( -> Number int -> ); ...

  7. Python产生100个1—100的随机数放入列表Num中,输出列表中的数,然后将它们排序,并输出排序结果。

    import random #内建函数 Num=[] for i in range(101):Num.append(random.randint(1,100)) #append()将参数添加到列表末尾 ...

  8. python列表、字典text:用户输入整数n,生成长度为n的列表,将n个随机数放入列表中

    1.用户输入整数n,生成长度为N的列表,将n个随机的奇数放入列表中 #导入随机数模块 import random #input录入str 需转为int enter = int(input('请输入一个 ...

  9. 包+类导入+静态导入+类放入包中+包作用域

    [0]README 0.1)本文转自 core java volume 1, 旨在理清 包和类导入的相关知识: [1] 包 1.1) java 允许使用包将类组织起来,包可以方便组织代码,并将自己的代 ...

最新文章

  1. 用python创建一个目录
  2. 深入学习Redis持久化
  3. React 组件学习
  4. 互联网项目中, 一些可能有用的开源系统
  5. Eclipse和MyEclipse自动提示设置
  6. HOW-TO:在Spring 4和Java 7中使用@PropertySource批注
  7. rabbitmq中文教程python版 - Topics
  8. Oracle分区技术特性详细解读
  9. surfaceflinger类图
  10. Kubernetes详解(十八)——Pod就绪性探针实战
  11. 内核中的Makefile和Kconfig
  12. android打印动画,Android 中的转场动画及兼容处理
  13. Qt开发笔记之编码h264码流并封装mp4(六):ubuntu平台编译mp4v2并封装mp4
  14. 数组中的键值对去重_数组去重-
  15. 利用Django框架简单设计一个登陆页面
  16. 北京市社会保险办理流程
  17. 腾讯43亿QQ号码用完后怎么办?
  18. 请简要说明西门子PLC1500的主要功能
  19. ps怎么快速将图片变成黑白 在线PS哪个好用
  20. 实时流媒体视频监控系统——的流媒体客户端——视频解码处理

热门文章

  1. 7月Chrome谷歌浏览器份额以68.60%位居榜首
  2. 电脑提示找不到宽带连接怎么办
  3. window系统服务器改名,微软:不会将 Windows Server 改名为 Microsoft Server 系统
  4. 简述网络调研的作用_利用龙伯球透镜天线提升高铁4G网络覆盖
  5. django mysql 过滤所有id_Django数据库中常用的过滤操作
  6. 计算机知识探索怎么写,计算机基础知识及探索.doc
  7. php post json请求参数传递_php post json参数的传递和接收处理方法
  8. Android日志[进阶篇]四-获取错误报告
  9. springmvc使用requestmapping无法访问控制类_研究人员称人类使用的新烟碱类杀虫剂让蜜蜂无法入睡...
  10. Java NIO ———— Buffer 缓冲区详解