php大并发 大流量 大存储解决方案
转载于:http://blog.csdn.net/gusgao/article/details/52189288
一、判断大型网站的标准:
1.pv(page views)网页的浏览量:
概念:一个网站所有的页面,在24小时内被访问的总的次数。千万级别,百万级别,
2、uv值(unique vistor)独立访客
概念:一个网站,在24小时内,有多少个用户来访问我们的网站。达到10万
3、独立ip,重点内容
概念:一个网站,在24小时内,有多少个ip来访问我们的网站。
uv值约等于独立ip.如果要考虑局域网,uv值略大于独立ip
二、大型网站带来的一些问题
1、大的并发。
并发量:在同一时间点(1秒内),有多少个用户同时访问我们的网站。对同一个网址,同时刷新浏览器。达到500,就非常大了。
假如并发量是500,pv值是多少。500*3600*10
2、大流量。
网站需要的大的带宽。10G.
3、大的存储,
网站中的数据库,表的容量成海量趋势,GT级别,如何快速的查找出想要的数据。
三、大并发的解决方案:
1、负载均衡器:
硬件:f5-bigip 性能比较好,立竿见影,价格昂贵,一般适合于大型网站公司,网游公司。
软件:
lvs(Linux virtual server)linux虚拟服务,加入到linux的内核中。
nginx:可以做web服务器(apache),还可以做负载均衡。
2、负载均衡实现的方式:
主要有:
轮询技术:客户端请求服务器轮流转发。
ip哈希:同一ip地址的客户端,始终请求同一台服务器。
最少连接:把请求转发给最空闲的服务器。
3、集群:
主要是解决计算机单点故障,在一个集群中的计算机,只有一台计算机工作,其他计算机处于休眠状态,监视正在工作的计算机,当正在工作的计算机出现问题,则休眠的计算机立刻接替工作。
四、大流量解决方案:
1、防止我们的网站资源被盗链。
可以采用一些非技术手段防止被盗链,在图片上添加水印
2、减少http请求,
主要手段就是合并js文件,css文件,背景图片的文件。将浏览器需要的样式文件或者js文件,合并成一个样式文件或js文件。比如通过背景图片举个例子。
3、启用压缩,
减少数据传输的数据量,常见的压缩格式是:gzip,deflate.
4、通过浏览器缓存数据内容。
在网站中有一些资源,比如js文件,css文件,一些图片文件,更新的频率比较少。通过个设置http的cache-control expires属性来进行设置缓存,可以设置缓存的文件类型,设置缓存的缓存周期,
5、可以把比较占用流量的一些资源,单独组建一个服务器,
比如图片服务器,视频服务器等。
五、大存储解决方案:
1、缓存技术:
通过缓存技术,达到不查询数据库或者少查询数据库的目的。
计算机的访问速度,内存》硬盘文件》数据库
缓存技术主要有:
磁盘缓存(页面静态化),把一个查询数据库的页面变成一个不查询数据库的页面
内存缓存:把经常查询的数据保存到内存里面,下次查询数据时候直接在 内存里面查询。
(memcache/Redis/MySQL的memory引擎)
2、在设计表的时候,要满足3范式
第一范式是:原子性,字段不能再分割了。只要是关系型数据库就自动满足第一范式:
数据库的分类:
关系型数据库:有行和 列的概念,二维表格。常见的关系型数据库:mysql,sql server,Oracle,db2,
非关系型数据库(nosql)面向集合和 文档的,没有行和列的概念常见的有redis/MongoDB等。
第二范式:在一个表中不能有完全相同的记录。可以通过设置一个主键。
第三范式:表中的字段不能冗余存储。
3、要给表添加适当的索引:索引非常重要的,可以提高查询速度。
常见索引有:主键索引,唯一索引,普通索引,全文索引,
4、要创建适当的存储过程,函数,触发器等。
5、读写分离(主从服务器)
6、分表技术(垂直分割和水平分割)
7、分区技术
把一个表的数据内容,在不同的 区域存储,
8、升级mysql服务器(添加配置:加大内容,64位)
9**、要对sql语句进行调优**
select * from tablename 该语句不要使用,要按需查询。需要哪个字段的数据,就查询哪个字段的数据。
10、对配置文件进行优化配置。
比如配置mysql数据库的并发量:
转载于:https://www.cnblogs.com/phpdo100/p/10619006.html
php大并发 大流量 大存储解决方案相关推荐
- 打造基于大并发通信技术及大数据技术的O2O系统
2019独角兽企业重金招聘Python工程师标准>>> 本文来自于个推CTO叶新江在2015Qcon的分享整理. 截止2015年6月,个推SDK累计接入总用户数达50亿 (其中海外近 ...
- 大数据_湖仓一体:下一代存储解决方案
目录 一.什么是湖仓一体 二.湖仓一体架构的特点 三.常见框架 1.Apache Hudi 2.Apache Iceberg 3.Delta Lake 数据库早已解决了数据问题,但无法满足现代使用场景 ...
- 主流大数据存储解决方案评析
EMC Isilon:横向扩展 性能突出 大数据存储不是一类单独的产品,它有很多实现方式.EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理 ...
- 虹科方案|用 Western Digital 和ATTO技术优化 SMR 存储解决方案的大数据工作负载
一.引言 Western Digital 与 ATTO Technology 的长期合作基于对当今复杂企业环境的存储和数据基础设施需求的共同洞察.我们正在共同为用户准备迎接下一波性能挑战. 二.背景 ...
- 智能交通大数据及云应用平台解决方案
来源:网络大数据 摘要:随着日益增长的交通"大数据",给交通管理创新带来的新挑战,以及对交通管理工作提出的新要求,交通信息化建设必然步入云计算智慧应用阶段,利用云计算破解当前诸多交 ...
- 如何实现高容量大并发数据库服务 | 数据库分布式架构设计
袋鼠学院和优云.阿里云联合举办的沙龙结束之后,总是有小伙伴们来问PPT内容,想要进一步了解Topic内容.(哦,对了对了,竟然还有小伙伴专门冲着袋鼠云去听沙龙,感动cry~~) 千呼万唤,忙成狗的袋鼠 ...
- 编写大并发高负载通讯程序
更是涉及面非常广,从硬件到软件.编程语言.数据库.WebServer.防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比拟的. 大型网站,比如门户网站.在面对大量用户访问.高并 ...
- 基于大数据的能力开放平台解决方案
某企业经过多年的系统建设和演进,内部系统间存在一些壁垒,通过在运营商的各个内部系统,如经分.VGOP.大数据平台.集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度.封闭式开发.数据孤岛等系 ...
- 苏宁金融红包系统大促海量流量背后的技术支撑
发红包是目前各大互联网公司最常用的营销手段之一,它形式多样,内容丰富.2016 年底苏宁金融开启了红包系统及相关系统的项目开发. 本文将对苏宁金融红包系统的架构部署方式.演变过程.技术优化等方面进行详 ...
最新文章
- 优化SQl语句的十个重要步骤
- LIB和DLL的区别与使用,非常详细
- 网页设计界面 电脑版设计
- linux结束进程_生人勿近之Linux里养僵尸
- phoenix创建索引报错“ Mutable secondary indexes must have the hbase.regionserver.wal.codec property”
- 百练 求排列的逆序数
- 前端自适应----单位rem
- 巴塞尔问题(Basel problem)的多种解法——怎么计算$\frac{1}{1^2}+\frac{1}{2^2}+\frac{1}{3^2}+\cdots$ ?...
- C++全局函数与成员函数的区别
- chatroom.php,chatRoom.php
- SylixOS Makefile 源代码解析
- php读取本地txt,php读取本地文件常用函数(fopen与file_get_contents)_PHP教程
- 你的才艺怎样变现?--Rarible平台
- 滑块验证码的解决方法
- 实战 SQL:实现百度、高德等地图中的地铁换乘线路查询
- LINUX SHELL宝塔判断域名变化IP脚本
- c++中 int、long、long long等取值范围
- 修改QQ默认下载目录
- java实现等待程序响应_java – Ning:连接到websocket并等待响应
- 使用hutool进行Unicode转换
热门文章
- 一张图,看懂阿里云12年的“飞天日记”
- 灵魂 36 问,让你快速熟悉一个系统
- 新版“峡谷第一美”妲己尾巴毛发制作分享
- 游戏界著名设计师 Cory Schmtiz:“灵感乍现”是设计生涯里的浪漫
- Spring MVC请求处理流程
- PAT 1079. Total Sales of Supply Chain
- [十一]SpringBoot 之 添加JSP支持
- java service wrapper日志参数设置及优化
- python基础(二)字符串內建函数详解
- 6,synchronized, lock 区别