《程序员2007增刊——实战Web2.0》精彩预览之“指导篇”

使用开源软件搭建的可扩展SNS网站

文/于敦德

Mixi目前是日本排名第三的网站，全球排名42，主要提供SNS服务：日记、群组、站内消息、评论、相册等等，是日本最大的SNS网站。Mixi从2003年12月份开始开发，由现在它的CTO - Batara Kesuma一个人焊，焊了四个月，在2004年2月份开始上线运行。两个月后就注册了1w用户，日访问量60wPV。在随后的一年里，用户增长到了21w，第二年，增长到了200w。到今年4月份已经增长到370w注册用户，并且还在以每天1.5w人的注册量增长。这些用户中70%是活跃用户（活跃用户：三天内至少登录一次的用户），平均每个用户每周在线时间为将近3个半小时。

下面我们来看它的技术架构。Mixi采用开源软件作为架构的基础：Linux 2.6，Apache 2.0，MySQL，Perl 5.8，memcached，Squid等等。到目前为止已经有100多台MySQL数据库服务器，并且在以每月10多台的速度增长。Mixi的数据库连接方式采用的是每次查询都进行连接，而不是持久连接。数据库大多数是以InnoDB方式运行。Mixi解决扩展问题主要依赖于对数据库的切分。

首先进行垂直切分，按照表的内容将不同的表划分到不同的数据库中。然后是水平切分，根据用户的ID将不同用户的内容再划分的不同的数据库中，这是比较通常的做法，也很管用。划分的关键还是在于应用中的实现，需要将操作封装在数据层，而尽量不影响业务层。当然完全不改变逻辑层也不可能，这时候最能检验以前的设计是否到位，如果以前设计的不错，那创建连接的时候传个表名，用户ID进去差不多就解决问题了，而以前如果sql代码到处飞，或者数据层封装的不太好的话那就累了。

这样做了以后并不能从根本上解决问题，尤其是对于像mixi这种SNS网站，页面上往往需要引用大量的用户信息，好友信息、图片、文章信息、跨表、跨库操作相当多。这个时候就需要发挥memcached的作用了，用大内存把这些不变的数据全都缓存起来，而当修改时就通知cache过期，这样应用层基本上就可以解决大部分问题了，只会有很小一部分请求穿透应用层，用到数据库。Mixi的经验是平均每个页面的加载时间在0.02秒左右（当然根据页面大小情况不尽相似），可以说明这种做法是行之有效的。Mixi一共在32台机器上有缓存服务器，每个Cache Server 2G内存，这些Cache Server与App Server装在一起。因为Cache Server对CPU消耗不大，而有了Cache Server的支援，App Server对内存要求也不是太高，所以可以和平共处，更有效的利用资源。

图片的处理就显得相对简单的多了。对于mixi而言，图像主要有两部分：一部分是经常要使用到的，像用户头像、群组的头像等等，大概有100多GB，它们被Squid和CDN所缓存，命中率相对比较高；另一部分是用户上传的大量照片，它们的个体访问量相对而言比较小，命中率也比较低，使用Cache不划算，所以对于这些照片的策略是直接在用户上传的时候分发到图片存储服务器上，在用户访问的时候直接进行访问，当然图片的位置需要在数据库中进行记录，不然找不到放在哪台服务器上就郁闷了。

《程序员2007增刊——实战Web2.0》精彩预览之“指导篇”相关推荐

整理 | 程序员必读书单1.0
编程语言 C和C++开发 Java 开发 <Java核心技术> <Java编程思想> <深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)> 周志明著 A ...
程序员快放弃 Android 9.0 吧，10.0 正在来的路上！
本文经授权转自终端研发部(ID:codeGoogler) 目前,美国 Google公司的 AndroidP (安卓9.0),已经正式全面推出有几个多月了.众多手机品牌厂商也都在积极的进行更新适配 An ...
【读书笔记】程序员修炼手册—实战式学习最有效（项目驱动）
持续学习&持续更新中- 学习态度:守破离程序员修炼手册-实战式学习最有效(项目驱动) 1.学会观察这个世界(学会思考) 2.学会学习再去学习(守破离) 守破离 3.要动手,实战吧(JUS ...
程序员学习和实战指南-工欲善其事必先利其器（2）
VS Code前端插件 Babel JavaScript Beautify css/sass/scss/less Better Comments Bookmarks CSS Formatter CSS ...
程序员的奋斗史（三十五）——人在囧途之应聘篇（五）
文/温国兵人活着总要学会尝试,并在试错中成长. 周一,微凉.做BRT到面试地点的途中,仰头一望,灰蒙蒙的天.在我记忆里本以为只有成都才可见的雾霾天原来广州同样可以看到.一座座高楼大厦直逼云霄,好似要 ...
老婆:“给我讲讲你们程序员好笑的事情呗？”我扔给她这篇文章，她狂笑不止！
我老婆有个习惯,就是不开心的时候去看搞笑视频,昨天她又不开心了,要我给她讲讲程序员的搞笑事情,于是我就把我这篇文章的草稿给她看,结果她笑到自己肚子疼,直言"我终于懂你们程序员的痛苦了&quo ...
TensorFlow 2.0开发者预览版发布
整理 | Jane 出品 | AI科技大本营从去年 8 月 Google 公开发布消息正在研发 TensorFlow 2.0 ,让我们在 12 月提前看到了一些高级 API 的变化,今天我们终于 ...
微信小程序云开发实现上传文件和预览下载文件
微信小程序云开发实现上传文件和预览下载文件一.前言目前微信提供了一个接口 wx.chooseMessageFile 它能让用户从聊天记录里面选择一个或者多个文件,然后返回它的一些信息,列入文件的p ...
nacos配置ap_Nacos 1.0.0 功能预览
本文来自于我的个人主页:Nacos 1.0.0 功能预览,转载请保留链接 ;) Nacos 1.0.0 是正式 GA 的版本,在架构.功能和API设计上进行了全方位的重构和升级,1.0.0版本标志着N ...

《程序员2007增刊——实战Web2.0》精彩预览之“指导篇”

使用开源软件搭建的可扩展SNS网站

《程序员2007增刊——实战Web2.0》精彩预览之“指导篇”相关推荐

最新文章

热门文章