6

一个20年技术老兵的 2020 年度技术总结

 3 years ago
source link: https://my.oschina.net/kevwan/blog/4856680
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
一个20年技术老兵的 2020 年度技术总结

大家好!我是 go-zero 作者 Kevin。充满惊吓的 2020 快要过去了,忍不住文字记录一下艰辛而又充满收获的 2020 ✍️

春节假期疫情突然升级,我们面临着自身平台的转型升级。作为 CTO,有两个重点工作:

  • 保证大规模使用平台稳定
  • 保证转型所需的新业务能够快速交付

团队压力巨大的同时也感受到了前所未有的战斗热情,养兵千日用兵一时,不经历战与火的洗礼,怎么知道团队的技术能力是否能够经受得住流量洪峰的考验。

战斗开始,迅速落实业务团队进行急需功能的开发,并行安排架构团队进行技术隐患排查、演练、攻关。

在大概两个月的时间里,我们基本一日三餐都在电脑桌前,困了就睡觉,醒来写代码(当然还有必要的开会),这真是人生一段非常难忘的特殊经历。。。

随着所需功能的极速上线,我们马上开始了大规模压测,大坑如下:

  • 大量请求失败,然而服务端压力一切正常,一顿排查,发现原来是进到内网的请求被 nginx 转发时又打到外网了,而外网我们是启动了 WAF(Web Access Firewall),WAF 会认为所有用户都来自我们内网的那些 IP,这“明显”是攻击嘛,于是 drop 了大量请求,由此,我们指定了规则:进到内网的请求不允许转发到外网。
  • 为了快速实现功能,有同学用 nodejs 实现了部分功能,部署到 k8s 集群里,流量一起来,nodejs pod 立马扛不住,再加上难以控制的内存泄露,让我们迅速决定不再允许使用 nodejs 做后端,使用 nodejs 纯属“意外”。
  • 某云厂商 oss 存储用的 LSM Tree 方式实现,在小文件突发增加时无法及时分裂,导致我们访问量大时出现两次 oss 访问故障。后来我们自己多申请了几个 bucket 来从代码层分散文件存储请求。

经过前后一个月开发、压测和开学前演练,我们的系统基本满足开学需求了,接下来就是接受实战检验了。

开学第一天,我们遇到的第一个问题部分服务供应商无法承载流量压力,虽然我们之前盘算过,也充分交流过,但还是未能预料到洪峰流量的凶猛,服务商紧急增加资源得以解决。

然后我们消息分类服务的 ElasticSearch 集群压力过大,扩容的同时,发现调用代码未加熔断保护,直接把 ElasticSearch 集群压死了,里面加上熔断保护,几行代码就好了,自适应熔断保护工具包见 这里

经过第一周的密集爆发式流量的考验,我们总体很稳定。为此还得到了有关部门的感谢信,相比友商,我们的服务稳定性还是相当不错的。后续服务稳定性上基本可以用波澜不惊来形容。至此,go-zero (虽然此时还不叫 go-zero)算是经受了充分的实战检验 💪

7月份在跟集团技术通道老师的交流过程中得到了充分的肯定,集团开源通道推动和帮助我把底层微服务支撑框架对外开源。

在8.7日深夜,我完成了 github 代码的第一次提交,此时文档仅有我临时写出来的一页 readme,为啥只有一页 readme 就选择开源了呢?我觉得万事开头难,如果决定把文档都写完再开源出来的话,可能这事就搁置了,所以还是先让球滚起来吧!

一经开源,社区立马给了我们比较热烈的反馈,更推动了我们去快速完成文档。我们在一个周末就补充了大量的使用文档,提供了比较完整的示例 shorturlbookstore。后面大部分开发者都通过这两个例子感受到了 go-zero 的便捷和工程效率。感谢大家给了我们很多对示例的改进意见。

8月16日,go夜读的分享 系统的讲述了 go-zero 背后的故事和设计思考,获得了很多观众的留言认可。至今依然有不少人针对这个视频给我积极的反馈。感谢大家的认可!

8月24日,gocn报道,让 gopherchina 社区第一次大规模的了解了 go-zero。社区开始有大量gopher的加入,微信群人数迅速增长。

9月开始,go-zero 多次出现在 github Go 语言日榜月榜顶部,如图:

日榜 月榜 daymonth

同时不少家公司将 go-zero 用于生产,并跟我反馈上线后一直平稳运行,其中不乏日活过百万的平台。

10月获得了 gitee 最有价值项目(GVP),并获得了开源中国年度 最佳人气项目奖项

11月22日,我在 gopherchina 大会做了『云原生go-zero微服务框架的设计思考』的主题分享,现场气氛非常热烈,据说门口堵满了进不来了,获得了很多资深开发者的认可,知乎评论见 这里,其中提到的我的年龄不对哈👀,部分现场图如下:

分享 观众 talkingaudience

12月20日,应邀参加腾讯云开发者大会,做了『转型之后 - 面对流量洪峰,微服务架构如何进行弹性设计?』的分享,如下:

开始 大纲 talkingaudience

在掘金发了 20+ 篇 go-zero 系列文章,跟用户详细分享了微服务框架设计的原理和实现,详见 这里

社区的认可

近 3000 人的微信社区,每天热烈的技术讨论和用户之间的相互帮助,已经形成了良好的社区氛围。我们也从中获得很多的用户反馈,为我们进一步加强 go-zero 指明了方向!👏

github star 正常每月增长 1000 左右,平均每天 33+ stars,现在 4700+,增长曲线如下:

trends

  1. 用户到底想要什么样的框架?
    • 首先,能够写更少代码解决业务需求。更少的代码意味着更快的产出,更少的bug。
    • 其次,框架是否稳定,有没经过实战检验。毕竟很少人愿意当小白鼠的。
    • 再次,社区是否活跃,遇到问题是否能够快速得到解决。
  2. 用户为什么喜欢 go-zero?
    • 全面的微服务治理能力
    • 内置 goctl 工具帮助用户尽可能只关注业务代码
    • go-zero 经过了我们线上海量并发实战检验
    • 活跃的社区,用户的互相解答,go-zero 团队的及时跟进

2021年技术展望

  • 研发团队工程效率带上新台阶,期望让大家产出更高的同时也能有更好的能力提升
  • 期望进一步加强 go-zero 的工程效率提升,让开发者编写更少的代码(业务代码)就能拥有稳定的微服务系统
  • 一个小目标:一年一万星 💪

https://github.com/tal-tech/go-zero

https://gitee.com/kevwan/go-zero

欢迎大家使用 go-zerostar 支持我们!👏

真心感谢一直支持我们的大佬们,以及众多使用 go-zero 的 gopher 们,之所以不列名单,实在是帮助过我们的人太多了,生怕一不小心就遗漏了某位大佬 🤝


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK