问题分析探讨 -- 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死...

Sun shine 16:15:55
帅哥我有个手机表大约有700百数据，，每天新增大约五万，并且新也有update 大约10万然后我每晚把当天的数据select 导入一个新表中的时候整个表就锁死了，有什么好的解决方案吗

黄杉() 17:32:18
你的导入方式是？
刚才在忙
你的导入方式或者大概过程是怎么样的？

Sun shine 17:43:39
insert 表 a select * from 表b where time=day

黄杉() 17:49:45
数据量一次性操作太多了
分成N个小的sql试下

Sun shine 17:50:17
每次大约 6万条

黄杉() 17:50:18
比如， 5分钟的数据拉一次

Sun shine 17:50:28
好的我试试。

黄杉() 17:50:39
每拉一次，间隔5分钟
做成一个contrab任务

Sun shine 17:51:30
我这边是直接程序 jdbc 写的sql

黄杉() 17:52:27
那就做一个java的quart任务
放到业务最低峰的时候执行。

Sun shine 17:52:49
恩是的，现在是每天导入一次。

黄杉() 17:53:08
分多次导入吧，我猜测你们的mysql服务器配置很低吧

Sun shine 17:53:38
服务器是 8g内存 4核的。
整个服务器就放了一台数据库

黄杉() 17:54:01
好吧，跟我们的个人pc机差不多的配置

Sun shine 17:55:04
是的比较低。
公司小，一切都得省得重程序的方面去优化。

黄杉() 17:55:55
那么操作的时候，就每次执行少量的数据，不要太多了，磁盘io，cpu啥以及内存啥的消耗少一些
创业型的公司吧
前途大大的
加油

Sun shine 17:56:34
对的，刚创业的公司。
技术人员配的不齐，我们写程序的也得搞数据库。

黄杉() 17:57:15
那以后就是多面手了, cto的候选人

Sun shine 17:58:26
这个还要很多年的磨练

黄杉() 17:58:44

insert 表 a select * from 表b where time=day 中, time字段有索引吗？

Sun shine 18:10:58
没有，准备建立个索引

黄杉() 18:11:42
那要建个索引的，不然会很慢的

总结: 这种查询慢锁表第一问就应该咨询where后面的time字段有无建索引,是自己疏忽了.有些开发人员的db水平不是很强,我们要想到这一点.

问题分析探讨 -- 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死...相关推荐

问题分析探讨 --大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死
Sun shine 16:15:55 帅哥我有个手机表大约有700百数据,,每天新增大约五万,并且新也有update 大约10万然后我每晚把当天的数据select 导入一个新表中的时 ...
mysql 时间戳查询当天数据_mysql 时间戳查询当天本周当月数据
from_unixtime(time_stamp) -> 将时间戳转换为日期 unix_timestamp(date) -> 将指定的日期或者日期字符串转换 ...
大数据背景下网络信息安全分析探讨
大数据背景下网络信息安全分析探讨刘松溢 (华北理工大学河北省唐山市曹妃甸区华北理工大学063210) 摘要:在经济快速发展的今天,大数据技术已被广泛地运用于社会生活中,这些技术的应用给人类的生产和 ...
医疗数据治理——构建高质量医疗大数据智能分析数据基础
医疗数据治理--构建高质量医疗大数据智能分析数据基础阮彤,邱加辉,张知行,叶琪华东理工大学计算机科学与技术系,上海 200237 摘要:以专病真实世界研究为背景,分析了医疗数据治理和数据可用性 ...
2021年大数据基础（四）：大数据业务分析基本步骤
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录大数据业务分析基本步骤 ...
RTMPdump（libRTMP）源代码分析 9：接收消息（Message）（接收视音频数据）
2019独角兽企业重金招聘Python工程师标准>>> 注:此前写了一些列的分析RTMPdump(libRTMP)源代码的文章,在此列一个列表: RTMPdump 源代码分析 1: ...
linux select读取节点数据失败_MySQL中覆盖索引查询和select*查询执行结果案例分析...
索引优化建议在MySQL中要尽可能使用覆盖索引进行检索,只访问索引的查询(索引列和查询列一致),减少select * 可提高查询效率覆盖索引(Covering Index) 理解方式一: 就是se ...
mpandroidchart 设置x轴数据_Flowjo软件下的流式数据基本分析
大家在分析流式数据时,因为种种原因,难免不满足于仪器自带软件的分析功能,因此会寻求第三方数据分析软件,比如Flowjo或者Kaluza等,因此本期以贝克曼公司的CytoFLEX系列流式数据为例,演示如 ...
这个工具，可视化分析10W数据后，找到了数据岗位月薪20K的秘诀
经常有人会问我这样的问题:能不能做一个职业的可视化分析?最近找工作很不顺利,各种迷茫,希望从广大求职者的数据中得到一些启发. 肯定没问题,今天就给大家分析一波职业数据,以可视化的形式让各位感受一下数据 ...

问题分析探讨 -- 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死...

问题分析探讨 -- 大约有700W数据的表,把当天的10W数据select导入新表,整个原来的表就锁死...相关推荐

最新文章

热门文章