![](/skin/images/logo.png)
周一下昼3点,用户打不开网易云音乐了。宕机长达两小时,“网易云音乐崩了”登上热搜*。
在一个需要精神宽慰的事情日下昼大面积瘫痪,不管从舆论角度,照样内部组织角度,这对网易都是一场级别极高的事故。
官方账号很快回应是基础设施出了故障;晚上9点,网易云音乐又弥补称,是由于“营业扩容”泛起的手艺事故。
无论是“基础设施”照样“营业扩容”,这些注释通俗人险些都很难看懂。
蜚语最先以人人能明白的方式口口相传,版本纷歧,但背后的叙事逻辑无外乎“裁员裁到大动脉”,程序员去职抨击导致的问题——这是人人喜闻乐见的爽文模式。
网易很快辟谣,称“没有删库、没有跑路”。
住手发稿,网易团体没有对外释放更详细的注释通告;但凭证现在两个公然注释,连系网易云音乐近期的手艺动作,背后的缘故原由也险些浮现出来。
谜底实在照样“省钱”。
但这个“省”并纷歧定直接指向裁员。而是指网易在手艺基建、方案上的省钱;也指网易这家公司在首创人就是*决议人的文化基因下,一直贯彻的省钱禀赋。
01
一位大公司的手艺职员告诉我们,所谓“营业扩容”,是公司为了应对更多用户或者更大规模的使用需求,在手艺上增添或升级服务能力。这是一个相对通例的动作,是一家公司在正常运维历程中需要保障的器械。
简而言之,“营业扩容”对一家手艺及格的公司险些不能能会造成云云严重的问题。
网易团体是现在中国互联网市值前五的上市公司,云音乐也是一家年收入已经到达20亿的上市公司,这意味着,正常“营业扩容”不太可能、也不应该泛起这样级其余事故。
网易此次的特殊性在于,它刚刚完成了从杭州到贵州数据中央的迁徙。
7月11日,网易云音乐手艺团队在程序员社区“稀土掘金”以及自己的民众号都宣布了一篇名为(后续简称《迁徙方案》)的文章。
通过文章,我们可以看出云音乐整体迁徙至贵州机房是一个伟大的系统工程,规模大、难点多、风险大。
上述大公司手艺职员向我注释,像贵州机房这种规模的迁徙即便完成也可能有很大潜在问题,由于它会让整体稳固性和保障性降低。在这样的设施基础上,一次简朴的“营业扩容”就可能让问题大发作。
换句话说,虽然网易云音乐宕机可能并不发生在迁徙历程中,但由于换到了贵州机房,网易许多应用的稳固性至少在短时间内会变得加倍懦弱。
既然一次大规模迁徙可能带来多次不能预知的问题——不到半年前的3月,网易云音乐也泛起过短暂宕机——那为什么一定要迁到贵州?
地理要素是其一,好比贵州一年四序天气凉爽宜人,其喀斯专程貌和窟窿可以为服务器更好降温;而且贵州远离地震带,是很平安的数据储存库。
但对企业来说,更主要的决议缘故原由可能还要回到我们一最先就已经提到的谜底:省钱。
凭证China Daily的报道,与在东南部沿海区域确立同样的数据中央相比,在贵州可以节约约莫58%的电费。1万个尺度服务器机架,每年光电费就可以节约1.3亿元。更别提贵州作为大数据产业先行区,提供的政策支持和税收优惠了。
这与想降本增效的大公司一拍即合。
2021年到2022年,腾讯是对“降本增效”最明确的公司,它也是*个在贵州确立数据中央的大公司。到2022年9月,网易贵安数据中央项目也正式签约,项目设计的尺度机架就是1万架。
中国高铁,正在改变海外用户出行体验
这意味着,这个项目落地后,网易未来在数据中央的破费上,仅电费就可以节约1.3亿元。
02
省钱换更好的地方无可指摘。但对网易来说,宕机事故的发作,再往深追溯,实在是另一个问题——手艺基建的微弱。
大规模的数据迁徙以及后续的保障是磨练一家公司手艺基础的时刻。在《迁徙方案》中,网易手艺团队就列出了一系列手艺债务;迁徙完成后,也反思还存在应用元信息(即“信息标签”)建设不足、应用设置等多个问题。
保障性和稳固性也依然存在破绽,网易手艺团队自己总结:
“只管在贵州机房迁徙中,做了大量的稳固性保障措施,但依赖每个研发对各自认真领域的明白、运维能力。是否能在团队治理、设施治理、服务治理、稳固性治理、架构设计等多方面,探索出一套可连续的长效保障机制?并举行一定的稳固性系统化建设?从而阻止点状问题随机发生。”
这个问题暂时无人可以回覆,或许在这次事故泛起后的复盘里,手艺团队可以重提。
不外一家企业手艺基建、手艺团队治理的问题,归根究底也是它的文化和组织优先级的问题。
一位网易前员工告诉我们,网易并不是个追求手艺先进的公司;手艺架构可能一最先还行,但厥后会由于工期问题,只能继续往上堆垃圾。
另一位从网易跳槽到阿里的员工,对比两家公司的手艺基建,也以为网易在手艺投入上过于看重投入产出比,一旦看不到效果就缩短,难有动力耐久投入。
网易对手艺人才的重视度从招聘上也能看出。不仅平均薪资低于其他大厂,岗位也更少。
一位今年结业的手艺岗位应届生告诉我,在他们理想公司的排序里,字节是*;阿里和腾讯是优选;快手对新手艺很看重,面试体验不错;而京东和网易岗位不多,在校招生中存在感不强。
相比追求手艺提高,网易是一家产物文化驱动的公司。这也跟首创人的志趣相关。
创业前两年,网易首创人丁磊还在担任网易的联席首席手艺执行官;到2005年底,他仍是网易的首席架构师。往后,你能看到,他的兴趣就从手艺转移到了产物,他在逐渐成为网易的“头号产物司理”。
对丁磊来说,产物司理的寄义异常广漠。互联网应用、实体商品、游戏,他的好奇心强烈,新点子也源源不停;而这些新点子可以在网易这个王国里完全地被知足、被试验。
游戏赚钱、环境很好的时刻,杭州研究院险些就是丁磊小我私人兴趣的实验室。这里孵化了多个营业,云音乐、云课堂都是从这里出生,他们自力、壮大,有的甚至上市。
丁磊获得的正反馈越多,就越发一定自己,他有时对产物司理们说,“我以为自己的产物能力越来越强了。”
在网易,通俗员工与丁磊打交道最多的一类也是产物司理。有员工看到,在丁磊的眼里,手艺员工只会跟他说能不能实现,设计的作用是具象化,跟他们讨论都不外瘾,只有产物司理能接住他的理念。
和其他已经实现了更现代化治理的公司相比,网易仍是一家首创人介入深、说了算的公司。这意味着,对手艺投入水平基本取决于老板的心态。
年景好的时刻,网易也有资金投在数据中台、云服务的建设上,但这个钱欠好挣,也没有缔造一个产物来得开心和有成就感。年景欠好的时刻,这都是需要被缩短和优化的项目。
网易员工私下谈论起丁磊,形容他仍是个“宁波小老板”。
一位网易前员工看到,5000元的项目,治理层都得拿着票据亲自找丁磊签字,也得提前准备好谜底以防丁老板问起细节。
这种生意人的特点,可以注释丁磊为什么从不投资网易的去职创业者。他在跟吴晓波的一次对谈中,说只信托自己的“商业模式”,只做自己懂、或者感兴趣的事情。
首创人的禀赋让网易在大环境最先转变时,提前就最先应对。2018年后,丁磊就已经陆续最先对“兴趣项目”举行清点,2022年,整个互联网行业都在省钱,而网易赶在寒流到来之前就完成了大部门的“降本增效”。
回得手艺基础设施建设的问题,一位员工抛出自己的看法:“你若是是一个‘州里企业家’,会重点投入在生产线升级换代上吗?”