好久没写博客了,一方面是日常工作繁忙,另外一方面是想更多的时间陪陪家里人,享受春天的美好时光,同时还在写一本《程序员,你伤不起》的一本书要由人民邮电出版社出版;公司有2台超级强大的服务器,其中1台服务器是用来备份容灾用的,防止老的服务器发生硬件故障时整个网站系统崩溃,若那样会给公司带来惨重的经济损失;而且这样超级强大的服务器不是今天订货明天就能送货上门的。

大学刚毕业那会喜欢研究数据库技术,那时候觉得数据处理很重要,而且数据库优化更重要,看了很多数据库性能优化方面的资料,平时设计软件系统时也会多关心一下数据库的性能问题。但是一直没遇到专门做数据库优化的DBA工作,就渐渐的放弃了数据库专业发展道理。

不是每个公司都能有专业的数据库DBA工作岗位,也未必请得起专业的高手DBA,就是请了人家也未必来对吧。因为没那样的好环境人的技能是容易走下坡路的当然也就更容易贬值而不是升值。

其实让别人放心来弄公司的核心数据库,放心让你操作公司的核心主机,都需要有一个信任的过程;一方面是需要信任你的为人,另外一方面也能信任你的技能高超;因为有任何错误的操作可能会导致天大的错误,服务器停止运转1个小时的直接经济损失就是1-2万元。而且还要在那么多客户面前丢人现眼。间接的损失更是不可估量的会影响到网站的形象。

判断数据库的瓶颈需要一个过程,需要知道数据库的瓶颈是出在哪里? CPU? 内存? 网络? 磁盘? 索引?sql语句? 经过1周的分析优化(3个通宵),得出的结论是最核心的数据库瓶颈问题出在磁盘的读写速度已经跟不上网站的数据大并发。

大学刚毕业那会儿也喜欢研究数据库技术,但是当时迷茫,不知道数据库技术能否派上用处,学了是否能找到个好职位、将来能重视到什么程度,其实多年在这方面的关注积累也奠定了1周时间能把服务器的性能提升4-5倍的可能。没有积累是短时间内难突破的。当然也建议平时多看看这方面的书籍、网上的资料。

1:需要用性能监视器,来看看磁盘的性能,这个参数是建议小于2,在实际服务器上这个参数经常会跳到接近100,几乎没低于2个时候,而且是1天24小时都很大,这表明服务器的磁盘I/O已经遇到了瓶颈了。

2:磁盘队列的长度经常是10-100,也比较大,感觉是有性能问题,而且服务器行的E,F盘只当备份用;24小时里,只有半个小时在发挥价值,C,D盘在疯狂的大量数据读写,对磁盘的稳定性寿命都是一个极大的挑战,好再服务器硬盘的质量好否则早就死翘翘了;由于主数据不能有任何闪失,也不能随便转移到其他硬盘上,主数据是做了RIAD5,所以把一些索引文件、临时数据库、日志文件都搬移到了E,F盘上,因为这些数据就是丢失了问题也不大,也没必要恢复,这么修改了一下后,E,F盘也24小时不断的利用上了,而且还减少了主盘的读写压力。

下面的一张图就是我们平时的台式机、这性能配置差距可不是一般的小,看看CPU数、内存数,就知道有多大差距了。这也是我目前以来亲眼见过得最好的3个服务器之一,亲自能管控的最好的2个服务器之一难得能感受驾驭这么强大的服务器快感。

3:把核心数据库又分了几个文件组、每个文件组又加了一些文件;把一些数据库量超过百万级别的表按业务逻辑进行了分区,同时做了一些索引优化等等工作。

4:把多个硬盘都合理利用,每个硬盘都按配置干不同的工作,经过进一步的优化,磁盘的队列下降到10以内,偶尔高峰期会超过这个值,平时访问量压力不大时,磁盘队列降低到了1以内,对主数据库的磁盘寿命、磁盘的压力都有了很大的改善。

经过这次的连续奋战1周多,感觉自己在职业道路上又升华了一次,亲自操刀优化了全球1000强的电子商务网站的核心数据库,感觉到有些小骄傲。下次有机会再参加专业的数据库优化的课程,再深入学习提高一下,也欢迎在杭州的数据库维护管理人员朋友周末、晚上什么的一起喝茶聊天。

我的QQ:252056973

下次有空时,继续把这次优化的经验分享给大家。

优化杭州某著名电子商务网站高并发千万级大型数据库经验之- 磁盘I/O性能相关推荐

  1. 网站高并发优化性能调优总结

    最近在对PHP网站高并发高性能有所领悟,今天写一篇关于这方面的文章.今天用我的测试站点:http://zhimo.yuanzhumuban.cc/来讲解实例. 支模网整体开发到上线为10个月左右,后端 ...

  2. 如何才能做到网站高并发访问?

    原文:http://oldboy.blog.51cto.com/2561410/615721 如何才能做到网站高并发访问?--之我荐--老男孩 ############################ ...

  3. php大流量网站解决,PHP 大型网站 高并发大流量解决方案

    标签:htm   指定   配置   热备   耗资源   负载均衡集群   session管理   redis   mod 网站性能优化对于大型网站来说非常重要,一个网站的访问打开速度影响着用户体验 ...

  4. 一个WEB网站高并发量的解决方案

    一个WEB网站高并发量的解决方案 参考文章: (1)一个WEB网站高并发量的解决方案 (2)https://www.cnblogs.com/dotnetHui/p/7943605.html 备忘一下.

  5. 大型网站高并发——服务器负载均衡设计

    大型网站高并发--服务器负载均衡设计 方案一:直接路由方式(LVS-DR) 硬件配置:一台负载均衡器,两台或则三台TOMCAT服务器 WEB服务器配置:Linux + tomcat+ WEB应用程序( ...

  6. 大型网站高并发解决方案——集群

    文章目录 大型网站高并发解决方案--集群 前言 一.集群 1.集群的分类 2.负载均衡集群(LB) (1)负载均衡集群结构 (2)负载均衡设备分类 3.高可用集群(HA) 4.高性能运算集群(HPC) ...

  7. 千万级规模高性能、高并发的网络架构经验分享

    千万级规模高性能.高并发的网络架构经验分享 主 题 :INTO100沙龙 时间 :2015年11月21日下午 地点 :梦想加联合办公空间 分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在 ...

  8. 网站高并发及高并发架构详解

    高并发是指在同一个时间点,有很多用户同时的访问URL地址,比如:淘宝的双11,双12,就会产生高并发,如贴吧的爆吧,就是恶意的高并发请求,也就是DDOS攻击,再屌丝点的说法就像玩撸啊撸被ADC暴击了一 ...

  9. 千万级规模高性能、高并发的网络架构经验分享--转

    原文地址:http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=401628413&idx=1&sn=91abfbad4c7 ...

最新文章

  1. sonar 上安装插件之后,展示的代码规则
  2. 为什么手机游戏手柄没有流行起来?
  3. HDU - 2204 Eddy‘s爱好(尚未完全解决)
  4. mysql 报表统计sql使用实例_mysql 案例~mysql元数据的sql统计
  5. Oracle PLSQL工具登陆界面:连接库选项没有本地数据库名可选 解决方法
  6. 计算机的拓扑 树状结构图,树型网络拓扑结构
  7. Activity 之间调用与参数传递
  8. 【Linux】C语言——贪吃蛇
  9. 佳能7660cdn 评价_佳能Canon LBP7660Cdn 驱动
  10. c语言汉字转拼音,c语言汉字转拼音函数源码
  11. java 权重_java实现权重的简单算法
  12. word取消限制编辑
  13. 镜头光晕是如何形成的?
  14. 全球及中国布鲁顿酪氨酸蛋白激酶抑制剂行业研究及十四五规划分析报告
  15. Java爬去教务系统后怎么发布_GitHub - canliture/CrawlerCourseTable: 课程表的java爬虫实现--基于“强智教务系统”...
  16. [原创]安全系列之端口敲门服务(Port Knocking for Ubuntu 14.04 Server)
  17. 「GXOI / GZOI2019」逼死强迫症——斐波那契+矩阵快速幂
  18. 深度学习模型的构建三、优化函数optimizer
  19. vue3实现单点登录
  20. matlab加热模型,房屋的热模型 - MATLAB Simulink - MathWorks 中国

热门文章

  1. 关于JS数组API的总结
  2. 《游戏引擎架构》笔记十四
  3. Rancher通过Aliyun-slb服务对接阿里云SLB教程
  4. [UML]UML系列——类图class的关联关系(聚合、组合)
  5. Oracle procedure调用实例
  6. 运维杂记(二):打印机print spooler服务自动关闭
  7. 安装apache+gd2(jpeg,png等)+mysql-client+php脚本
  8. 太阳能控制器原理图_太阳能人体感应壁灯的电路设计
  9. .Net精简版数据类型
  10. 关于引用与指针实现多态的一些记录