场景

在做mysql库表同步任务的时候,其中有一张表的数据量30万条,其中有两个字段是text, longtext类型。在利用第三方的同步工具做数据同步的时,出现Io异常,效率很低。

解决方案

  • 首先尝试在text,longtext类型的字段上面加索引,发现在工具中执行同步的任务,加索引起不到效率提升的作用。主要是在select a,b 这两个字段的时候,msyql底层并没有走index。
  • 思路2:考虑把这个两个text类型的字段抽取到一个临时表里面,临时表中创建整型主键索引,查询效率会非常高。同步任务把这两个临时表搬迁过去。最后在数据仓库侧做一个多表关联。

mysql中查询遇到longtext类型,查询效率很低。相关推荐

  1. mysql中实现分类统计查询的步骤_在MySQL中如何进行分组统计查询

    昨天和大家分享了MySQL中,如何进行聚合函数及统计函数查询,若是不清楚的话,可以去看一下我的那个文章.今天继续和大家分享,在MySQL中如何进行分组统计查询,这个在实际应用中,也会经常运用到,比如以 ...

  2. MySQL中的日期时间类型与格式化方式

    [1]MySQL中的日期时间类型 MySQL中常用的几种时间类型有:date.datetime.time.year.timestamp 数据类型 占用字节 最小值 最大值 零值表示 date 4 10 ...

  3. ( 4 )MySQL中的数据类型(字符串类型)

    MySQL中的数据类型(字符串类型) 字符长类型 六中数据库中的数据类型 char , varchar , text ,blob,enum,set char和varchar char定长:磁盘空间比较 ...

  4. mysql double 存储_关于MYSQL中FLOAT和DOUBLE类型的存储-阿里云开发者社区

    关于MYSQL中FLOAT和DOUBLE类型的存储 重庆八怪 2016-04-12 844浏览量 简介: 关于MYSQL中FLOAT和DOUBLE类型的存储 其实在单精度和双精度浮点类型存储中其存储方 ...

  5. 关于MYSQL中FLOAT和DOUBLE类型的存储

    关于MYSQL中FLOAT和DOUBLE类型的存储 其实在单精度和双精度浮点类型存储中其存储方式和C/C++一致准守IEEE标准他们都是浮点型的,所谓的浮点型,是小数点的位置可变,其能够表示的范围比定 ...

  6. MySQL中日期和时间类型

    https://www.cnblogs.com/wlzjdm/p/6953398.html 日期类型 MySql中关于日期的类型有Date/Datetime/Timestamp三种类型. 1.1 Da ...

  7. MySQL中的表锁行锁共享锁很难吗?看了本文就清楚了哦

      MySQL数据库中的锁还是非常重要的,本文重点给大家详细的来介绍下MySQL数据中的各种锁. 一.表锁和行锁 1.表锁 表锁的优势:开销小:加锁快:无死锁 表锁的劣势:锁粒度大,发生锁冲突的概率高 ...

  8. C#中HttpWebRequest的GetRequestStream执行的效率太低,甚至偶尔死掉

    [问题] C#中,提交对应的POST类型http请求之前,会执行: Stream postDataStream = req.GetRequestStream(); 然后填充对应的post数据,再提交h ...

  9. 我python写的闭包为什么效率很低_GitHub - llzhi001/interview_python_practice: interview 面试题 CS-Notes之ME-技术总结...

    Star过的Github书籍 值得一看的文章 两地书 服务发现 服务注册.服务发现作为构建微服务架构得基础设施环节,重要性不言而喻.在当下,比较热门用于做服务注册和发现的开源项目包括zookeeper ...

最新文章

  1. 【青少年编程】【四级】数字反转
  2. base64转码java版
  3. Spring Cloud 使用 FeignClient 启动报错
  4. mysql主从复制及失败切换
  5. python爬虫资源大全_Python爬虫抓取纯静态网站及其资源(基础篇)
  6. 禁止MT在公式后面自动添加一个空格
  7. 数据结构-队列之循环队列
  8. laravel 检测sql_在Laravel PHP应用程序中轻松进行面部检测
  9. 9 CO配置-控制-成本中心会计-在成本控制范围激活成本中心会计核算
  10. 《史上最简单的 SpringCloud 教程》系列
  11. OPPO Reno配置曝光 骁龙855+10倍混合光学变焦
  12. linux查看虚拟化版本,4.15. 虚拟化 (机器翻译版本)
  13. apiclod 上传图片_apiCloud图片选择、处理、上传模块
  14. 差分相干解调 matlab,2DPSK差分相干解调器Simulink仿真.doc
  15. ICIP2019论文合集
  16. 数据库update多条数据
  17. awesome系列网址
  18. docker搭建snipe-it
  19. RxSwift学习(一) --- RxSwift介绍
  20. 个人永久性免费-Excel催化剂功能第105波-批量调整不规范的图形对象到单一单元格内存储...

热门文章

  1. python时间间隔循环_python循环间隔
  2. 知道域用户名如何确认计算机名,如何获得域用户的用户名
  3. [计算机数值分析]高斯-塞德尔迭代公式解线性方程组
  4. FFplay文档解读-28-视频过滤器三
  5. 数据泵linux,Linux操作系统上用数据泵导库
  6. 微服务架构 — 服务治理 — 服务调用链可视化
  7. Lagrange对偶函数
  8. GSM中时隙、信道、突发序列、帧的解释!
  9. 未来,你会买一辆百度造的车吗?
  10. 嵌入式tomcat分析,并手写加载springMvc