高并发架构技术解决方案

一、高并发架构技术解决方案

1、高并发架构最大问题主要是由于网站PV访问量大，单台服务器承载大量访问所带来的压力，所以会采用多台服务器进行分流，采用服务器集群技术，对于每个请求访问会被发送到不同的服务器。

2、这样架构的难点就在管理、维护、监控、负载等等都面临很大的技术问题，同时还需要应对某些业务的突发流量，像秒杀、促销等场景化使用什么技术解决高并发？

3、互联网分布式架构设计，提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up）与水平扩展（Scale Out）。

4、垂直扩展：提升单机处理能力。垂直扩展的方式又有两种：

5、（1）增强单机硬件性能，例如：增加CPU核数如32核，升级更好的网卡如万兆，升级更好的硬盘如SSD，扩充硬盘容量如2T，扩充系统内存如128G；

6、（2）提升单机架构性能，例如：使用Cache来减少IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间；

7、在互联网业务发展非常迅猛的早期，如果预算不是问题，强烈建议使用“增强单机硬件性能”的方式提升系统并发能力，因为这个阶段，公司的战略往往是发展业务抢时间，而“增强单机硬件性能”往往是最快的方法。

8、不管是提升单机硬件性能，还是提升单机架构性能，都有一个致命的不足：单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。

9、水平扩展：只要增加服务器数量，就能线性扩充系统性能。水平扩展对系统架构设计是有要求的，如何在架构各层进行可水平扩展的设计，以及互联网公司架构各层常见的水平扩展实践。

10、水平扩展要怎么来做？首先是软件服务拆分到不同的服务器进行部署，全部堆积在一台上性能将会受限。例如：Redis就只是部署在独立的服务器上，其它软件都在这服务器上出现增加各个软件服务部署的服务后，采用技相关技术手段分担到各个服务器上。nginx反向代理层可以通过“DNS轮询”的方式来进行水平扩展。dns-server对于一个域名配置了多个解析ip，每次DNS解析请求来访问dns-server，会轮询返回这些ip。PHP站点层可以通过修改nginx.conf实现负载均衡机制来进行水平扩展。从而设置多个web后端。服务层可以通过服务连接池来进行水平扩展；这里一部需要实现服务化，PHP像swoole tarsphp等数据库可以按照数据范围，或者数据哈希的方式来进行水平扩展；那高并发架构是什么样的？

11、常见互联网分布式架构如上，分为：

12、（1）客户端层：典型调用方是浏览器browser或者手机应用APP

13、（2）反向代理层：系统入口，反向代理

14、（3）站点应用层：实现核心应用逻辑，返回html或者json数据

15、（4）服务层：服务化，例如像Swoole

16、（5）数据-缓存层：缓存加速访问存储

17、（6）数据-数据库层：数据库固化数据存储

二、架构高可用高并发系统的设计原则

通过学习《亿级流量网站架构核心技术》及《linux就该这么学》学习笔记及自己的感悟：架构设计之高可用高并发系统设计原则，架构设计包括墨菲定律、康威定律和二八定律三大定律，而系统设计包括高并发原则、高可用和业务设计原则等。

墨菲定律–任何事没有表面看起来那么简单–所有的事都会比预计的时间长–可能出错的事情总会出错–担心某种事情发生，那么它就更有可能发生

康威定律–系统架构师公司组织架构的反映–按照业务闭环进行系统拆分/组织架构划分，实现闭环、高内聚、低耦合，减少沟通成本–如果沟通出现问题，应该考虑进行系统和组织架构的调整–适合时机进行系统拆分，不要一开始就吧系统、服务拆分拆的非常细，虽然闭环，但是每个人维护的系统多，维护成本高–微服务架构的理论基础–康威定律–每个架构师都应该研究下康威定律

二八定律– 80%的结果取决于20%的原因

有状态配置可通过配置中心实现无状态

实践: Disconf、Yaconf、Zookpeer、Consul、Confd、Diamond、Xdiamond等

系统维度：按照系统功能、业务拆分，如购物车，结算，订单等

功能维度：对系统功能在做细粒度拆分

读写维度：根据读写比例特征拆分；读多，可考虑多级缓存；写多，可考虑分库分表

AOP维度：根据访问特征，按照AOP进行拆分，比如商品详情页可分为CDN、页面渲染系统，CDN就是一个AOP系统

模块维度：对整体代码结构划分Web、Service、DAO

服务化演进:进程内服务-单机远程服务-集群手动注册服务-自动注册和发现服务-服务的分组、隔离、路由-服务治理

考虑服务分组、隔离、限流、黑白名单、超时、重试机制、路由、故障补偿等

实践：利用Nginx、HaProxy、LVS等实现负载均衡，ZooKeeper、Consul等实现自动注册和发现服

目的:服务解耦(一对多消费)、异步处理、流量削峰缓冲等

大流量缓冲：牺牲强一致性，保证最终一致性(案例：库存扣减，现在Redis中做扣减，记录扣减日志，通过后台进程将扣减日志应用到DB)

数据校对:解决异步消息机制下消息丢失问题

数据异构:通过消息队列机制接收数据变更，原子化存储

数据闭环:屏蔽多从数据来源，将数据异构存储，形成闭环

浏览器缓存(Expires、Cache-Control、Last-Modified、Etag)

CDN缓存(一般基于ATS、Varnish、Nginx、Squid等构建,边缘节点-二级节点-中心节点-源站)

Proxy_cache：代理缓存,可以存储到/dev/shm或者SSD

业务数据缓存(Redis/Memcached/本地文件等)

NoSQL： Redis、Memcache、SSDB等

MySQL： Innodb/MyISAM等Query Cache、Key Cache、Innodb Buffer Size等

磁盘：磁盘本身缓存、dirtyratio/dirtybackground_ratio、阵列卡本身缓存

降级开关集中化管理：将开关配置信息推送到各个应用

可降级的多级读服务：如服务调用降级为只读本地缓存

开关前置化：如Nginx+lua(OpenResty)配置降级策略，引流流量；可基于此做灰度策略

业务降级：高并发下，保证核心功能，次要功能可由同步改为异步策略或屏蔽功能

目的:防止恶意请求攻击或超出系统峰值

穿透后端应用的流量使用Nginx的limit处理

恶意IP使用Nginx Deny策略或者iptables拒绝

DNS:更改域名解析入口，如DNSPOD可以添加备用IP，正常IP故障时，会自主切换到备用地址;生效实践较慢

HttpDNS:为了绕过运营商LocalDNS实现的精准流量调度

LVS/HaProxy/Nginx:摘除故障节点

发布版本失败时可随时快速回退到上一个稳定版本

先行规划和设计时有必要的，要对现有问题有方案，对未来有预案;欠下的技术债，迟早都是要还的。

三、如何搭建一个高并发的web框架

web界面上最快的访问速度是什么？当然是最原始的HTML文件访问,对于其他语言比如 jsp,asp,php等等,他们首先要通过服务器解析成html之后在返回给访问者，如果我们能提供全部是htm来的页面，那么就能大大的降低服务器和数据库资源的利用和提高网站的并发，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。当然实现这种方式大家比较了解的就是信息发布系统CMS,信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。

在后续的文章中我们会单独的使用jsp+ servlet实现一个简单的信息发布系统.

为什么要把图片单独设置一个服务器？对于Web服务器来说，图片消耗的服务器资源是最多的，如果能把所有的图片资源放到一个单独的图片服务器中进行处理的话，可以降低提供页面访问请求的服务器系统压力，从而能进一步的提高web程序的并发.所以在有条件的情况下最好能把图片放置到一个单独的服务器中.

3、配置多台数据库服务器，多个数据库集群

集群（Cluster）技术是使用特定的连接方式，将价格相对较低的硬件设备结合起来，同时也能提供高性能相当的任务处理能力。

越是大型高并发的应用，数据库的压力就会越大，如果数据库操作很频繁，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群。

数据库集群就是使用多个数据库服务器分担请求的压力，达到快速响应的目的.

所谓的缓存就是把数据咱是放置到内存中，前台在请求的时候直接从内存中读取数据，而不需要去查询数据库或者读取文件等，这样就能做到最快的响应。网站架构和网站开发中的缓存是非常重要的。

目前有很多开源的缓冲实现方案，APC，File，SQLite，Memcache等等各种类库实现着不同的缓存方式，只有通过了解他们的实现方式，根据具体应用具体选择，才会使缓存系统发挥出最大的性能。

对于java开发来说，大名顶顶的分布式缓存系统Memcache可能是最好的选择，他提供一个基于Socket的访问方式，使得该缓存系统支持远程读写访问。尽管这个缓存的内容可能是存在内存中，也可能是存在文件内。