大型网站架构技术方案集锦[转]
1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html
采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。
2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html
LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起
LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。
在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。
3. YouTube 的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html
在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)
4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html
维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。
来点直接的数据:
* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器
5. Tailrank 网站架构
http://www.dbanotes.net/review/tailrank_arch.html
每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。
专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。
6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html
LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).
7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html
旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。
8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html
Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:
每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。
9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html
尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.
10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html
Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。
11. Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html
我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.
12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html
财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。
13. 了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html
目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离,似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.
14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71
我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。
15. 大型高负载网站架构 的感想
http://atman.memoab.com/articles/194
昨日认识了位健谈的IT人,原在verycd作系统管理的叶宁(这哥们现飘泊去见首都人民了).
以前sweater给我介绍的他写的《大型高负载网站架构和应用初探》, 他总结了很多信息和数据,感谢叶宁的辛劳成果. 这里我也想就此PPT写些自己的感想.
转载于:https://www.cnblogs.com/net205/articles/1257407.html
大型网站架构技术方案集锦[转]相关推荐
- 《大型网站架构技术》系列分享专栏
在这里整理一些大型网站架构方面的技术文章,包括大型网站存储,架构,静态化处理,高并发,高性能方面的问题处理,解决方案等知识 <大型网站架构技术>已整理成PDF文档,点击可直接下载至本地查阅 ...
- 大型网站架构技术一览
http://www.hollischuang.com/archives/1132 本文内容大部分来自<大型网站技术架构>,这本书很值得一看,强烈推荐. 网站系统架构层次如下图所示: 1. ...
- 夺命雷公狗---大型网站架构技术一览
网站系统架构层次:前端架构.应用层架构.服务层架构.存储层架构.后台架构.数据采集与监控.安全架构.数据中心机房架构. 1.前端架构(浏览器优化技术.CDN.动静分离,静态资源独立部署.图片服务.反向 ...
- SD2.0大会上关于“大型网站架构技术”的讨论(笔记)
在这个SD2.0大会的沙龙中,请到了几位重要的人物:王文彬(淘宝网首席架构师).汤道生(腾讯研发副总裁,产品有腾讯空间等).雷鸣(酷我网站创始人,前baidu首席架构师,北大天网作者).钱宏武(脉网技 ...
- 大型网站架构改进历程
存储的瓶颈(1) 前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大,培训完后我很难 完整理出全部听到的知识,今天我换了个思路是 ...
- 2.大型网站架构演化的价值观
这个世界没有哪个网站从诞生起就是大型网站:也没有哪个网站第一次发布就拥有 庞大的用户,高并发的访问,海量的数据:大型网站都是从小型网站发展而来.网站的 价值在于它能为用户提供什么价值,在于网站能做什么 ...
- 大型网站架构提速关键技术(页面静态化、memcached、Mysql优化)
大型网站关键技术介绍 1. pv值(page views),访问量大 带来问题 a. 流量大 10000000*2m ->解决方案 买带宽 ,优化程序(处理图片) b. 并发量,同时访问网站的人 ...
- 基于Java技术的大型网站架构设计方案
架构设计漫长路 最佳实践我来数 千万并发没问题 要点首推数据库 SQL语句要优化 索引创建有艺术 三大范式不可废 冗余字段难维护 查询过多怎么办 缓存使用是本固 频繁访问不用怕 每秒数千扛得住 更新插 ...
- 大型网站架构模式【大型网站技术架构.核心原理与案例分析】(阅读分享)
这本书分几个章节,其中有一个值得和大家分享的技术知识. 大型网站架构模式中引入了模式概念:每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心.这样,你就能一次又一次地使用该方案而不 ...
- 大型分布式网站架构技术总结
大型分布式网站架构技术总结: " 本文是学习大型分布式网站架构的技术总结.对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进行了概要性描述,并给出一个架构参考.一部分为读书笔记,一部分是 ...
最新文章
- Java6程序设计基础教程_【Java】《Java程序设计基础教程》第三章学习
- js中对函数设置默认参数值的3种方法
- (一) 自带刷新的列表-LtRecyclerView v2.x版本(LtAdapter)(基本使用)
- ios测试宏指令出错:“Expected identefier”
- Oracle_双机备份_资料
- Jquery中post与get之间的区别详细介绍
- 前端学习(607):javascript导读
- 中发生数据丢失_如何防止Redis脑裂导致数据丢失?
- Linux内核中container_of宏的理解
- java读取http文件内容_使用HTTP读取文件的第一部分
- css幻灯片样式,纯CSS3全屏响应式幻灯片特效
- 某知名大学学生毕业设计, Java学好了就是厉害
- CC2640R2F BLE5.0 CC2640R2F SPI驱动实现
- 颜值是第一生产力 - Windows Terminal
- 一盘多用,Linux安装盘+window PE启动盘
- 【方案开发】电子血压计方案开发设计
- singer页面点击歌手singer是跳转到singer-detail的设置
- miniSD卡分区后的再次完成格式化
- 某OA ajax.do 未授权漏洞任意文件上传getshell复现
- ICCV2021 Oral 论文及论文实现代码合集