大型网站解决如下问题:
1. 庞大用户,高并发访问,海量数据
2. 任何简单的业务需要处理数以P计的数据,面对数以亿计的用户
* 初始阶段网站架构
初始小型网站没有多少人访问,只需要一台服务器
应用程序,数据库,文件等所有资源全部在一台服务器上
例如:服务器操作系统 Linux, 应用程序 PHP, 部署在Apache,数据库Mysql
* 应用服务和数据服务分离
越来越多的用户访问导致网站性能变差,越来越多的数据导致存储空间不足,这时需要应用和数据分离
应用和数据分离后整个网站使用三台服务器:
1. 应用服务器
2. 文件服务器
3. 数据库服务器
-----------------------------------------------------------------
三台服务器对硬件资源要求不同
应用服务器:需要处理大量业务逻辑,需要提升CPU
数据库服务器:需要快速磁盘检索和数据缓存,需要提升硬盘和内存
文件服务器:需要存储大量用户上传的文件,需要更大硬盘
应用和数据分离后,不同特性服务器承担不同的服务角色,网站并发处理能力和数据存储空间能力得到提升
随着用户继续增加,数据库压力太大导致访问延迟,进而影响整体网站性能,用户体验受到影响,这时需要对网站架构进一步优化
* 使用缓存改善网站性能
网站的大部分业务访问集中在小部分数据上,通过将这小部分数据缓存在内存中,可以有效较少数据库的访问压力,提高整个网站的数据访问速度,改善数据库的写入性能
--------------------------------------------------------
网站使用缓存分为两种:
1. 缓存在应用服务器上的本地缓存
2. 缓存在专门的分布式缓存服务器上的远程缓存
本地缓存: 访问速度更快,但受应用服务器内存限制,缓存数据量有限,并且会出现和应用程序争用内存的情况
远程分布式缓存:可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,在理论上做到不受内存容量限制的缓存服务
使用缓存后,数据访问压力得到环节,但是单一应用服务器能够处理的请求连接有限,在网站访问的高峰期,应用服务器将成为整个网站的瓶颈
* 使用应用服务器集群改善网站并发处理能力
使用集群是网站解决高并发,海量数据问题的常用手段
当一台服务器处理能力,存储空间不足时,不要去换更强大的服务器,因为永远满足不了网站持续增长的业务
最恰当的做法是增加一台服务器分担原有服务器的访问及存储压力
只要能通过增加一台服务器的方式改善负载压力,就可以用同样的方式持续增加服务器不断改善系统性能,实现系统的可伸缩性
应用服务器实现集群是网站可伸缩集群架构设计中较为简单成熟的一种
通过负载均衡调度服务器,将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器中
如果有更多的用户,就在集群中加入更多应用服务器
* 数据库读写分离
使用缓存后,绝大部分数据 读 操作访问都可以不通过数据库完成,
但是仍有一小部分读操作(缓存访问不命中,缓存过期)和全部的 写 操作需要访问数据库
网站用户达到一定规模后,数据库因为负载压力过高会成为网站瓶颈
--------------------------------------------------
通过主从热备功能,通过配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上,实现数据库读写分离,改善数据库负载压力
应用服务器在 写 数据的时候,访问主数据库,主数据库通过主从复制机制将数据更新同步到从数据库
这样当应用服务器读数据的时候,就可以通过从数据库获得数据
-----------------------------------------------------
为了便于应用程序访问读写分离后的数据库,通常在应用服务器端使用专门的数据访问模块,使数据库读写分离对应用透明
* 使用反向代理和CDN加速网站响应
CDN和反向代理的基本原理都是缓存,区别在于:
- CDN 部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的网络提供商机房获取数据
- 反向代理 部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,将其直接返回给用户
使用CDN和反向代理的目的都是尽早返回数据给用户
一方面加快用户访问速度
另一方面减轻后端服务器的负载压力
* 使用分布式文件系统和分布式数据库系统
数据库经过读写分离后,从一台服务器拆分成两台服务器,随着网站业务的发展依然不能满足需求,这时需要使用分布式数据库
文件系统也一样,需要使用分布式文件系统
--------------------------------------------------------
分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常庞大的时候才使用,
不到不得已时,网站更常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同的物理服务器上
* NoSQL和搜索引擎
随着网站业务的复杂,对数据存储和检索的需求也越来越复杂
网站需要采用一些非关系数据库技术,如NoSQL和非数据库查询技术,如搜索引擎
应用服务器通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦
* 业务拆分
将一个网站拆分成不同的应用,每个应用独立部署维护,应用之间通过一个超链接建立关系,也可以通过消息队列进行数据分发
当然,最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统
* 分布式服务
既然每一个应用系统都需要执行许多相同的业务操作,比如用户管理,商品管理等,那么可以将这些共用的业务提取出来独立部署
由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用业务服务完成具体业务操作
大型网站的架构演化到这里,基本上大多数的技术问题都可以解决
比如跨数据中心的实时数据同步和具体网站业务相关的问题也都可以通过组合改进现有技术架构来解决