2016 AWS re:invent上,AWS副总裁兼杰出工程师James Hamilton首次对外界大量披露了AWS亚马逊云的基础设施建设及工程化细节,看了之后,感觉AWS有朝运营商发展的趋势,AWS选择的道路让整个ICT产业链分工都会受到巨大的挑战,大家一起看看。
一、基础设施自建设、自管理
1、AWS目前在全球有14个数据中心区域,2017年还将增加4个,到时就将有18个数据中心区域。此外,AWS目前在全球有68个CloudFront PoP(Point of Presence,具体的数据中心)。
2、每个数据中心5~8万台服务器。
3、AWS在全球部署了100GB高速以太网,在所有的数据中心区域都是100GB网络,同时还有更多并行的100GB级网络用于辅助数据传输。这些网络都是AWS自建或者租用之后,自己统一管理。
———点评:未来的网络抽象总结起来就是数据中心+超宽带网络,而AWS就是朝这个方向去发展的,AWS部分海底宽带就是自己去部署的,看这个趋势,数据中心和数据中心的超宽网络后面全部都是自己的,AWS完全可以比肩一个固网运营商了。看来唯一能阻挡AWS发展的只有法律和信息安全了。
二、基础设施自己定制、自优化
1、AWS定制开发的路由器为25GB带宽,而业界标准不是10GB就是40GB,为什么?一个光波可载10GB数据,40GB就是4个光波,成本是10GB的4倍。而一个光波也可以载25GB数据,成本相对10GB略高一些,但几乎价格差不多。于是,两个光波就是50GB带宽,但成本相对于40GB带宽来说,却低了很多。
2、AWS还在Broadcom Tomahawk ASIC芯片基础上定制了自己的网络路由器集成电路ASIC,该ASIC集成电路芯片有70亿个晶体管,128个接口提供25GB带宽。而AWS选择这款ASIC芯片的原因还在于其生态系统,很多供应商都提供支持这款芯片设计的生产制造,其中包括Cavium、Mellanox、Broadcom、Innovium、Barefoot和Marvell等。
3、在软件定义网络方面,AWS自EC2开始就采用了软件定义网络SDN。2012年开始,AWS把网络通信中的重复性工作转换到定制的10GB网络集线器(NIC)上完成,以及基于AWS软件的定制处理器。而把重复性网络通信工作从服务器上卸载到网络硬件设备的好处,还在于大幅降低的网络时延,网络时延从毫秒级进入到了纳秒级甚至微秒级。
4、AWS在数据中心硬件方面的创新还包括定制的成套配电柜,主要是修正了电柜的firmware固件,以避免类似2013年Super Bowl停电事故。在那次事故中,一个检测元件发现了电流异常,于是按预先设置的流程切断了电力供应,从而导致2013年Super Bowl长达半个小时的停电事件。AWS在保障数据中心的电力供应方面还进行了多种创新,以确保能安然渡过类似2013年Super Bowl式的黑天鹅事件。
5、在定制存储设备方面,2014年AWS介绍了一个机架中880个磁盘的定制存储设备,接下来AWS在一个42U机柜中装入了1100个磁盘,相当于11PB的数据。
6、在定制计算服务器方面,AWS定制的服务器设计里,电源装置组件PSU及电压调节VRD的效率都大于90%。因此,AWS数据中心的PUE水平在1.12-1.15之间。(PUE(PowerUsageEffectiveness,电源使用效率)值已经成为国际上比较通行的数据中心电力使用效率的衡量指标。PUE值是指数据中心消耗的所有能源与IT负载消耗的能源之比。PUE值越接近于1,表示一个数据中心的绿色化程度越高。)
———点评:基础设施都自己优化,设备提供商还有活路吗?未来是不是AWS只需要依赖Intel+富士康就完成了基础设施的建设?Intel提供能力解决摩尔定律发展问题,富士康解决制造问题。而传统的设备提供商如爱立信/华为(典型行业),IBM/联想/HP(IT行业)是不是没有活路了?