作业帮莫仁鹏:海量数据治理挑战下的高性能应对之道

摘要

2024 年 12 月 28 日,「智效融合,构筑未来」腾讯云架构师峰会在北京隆重举行。

在科技快速发展的背景下,架构设计成为影响企业应用质量的核心要素。优秀的架构不仅关乎系统的稳定性和高效性,还对开发、维护和系统扩展产生深远影响。

2024 年 12 月 28 日,「智效融合,构筑未来」腾讯云架构师峰会在北京隆重举行。这场盛会吸引了诸多一线企业的资深架构师、技术管理者和 CTO 等顶尖专家,内容围绕架构发展新趋势、实际案例和企业创新与效益的平衡等议题进行深入探讨。作业帮资深架构师莫仁鹏受邀参会,并在峰会上分享《海量数据治理挑战下的高性能应对之道》,给与会者带来了一场极具价值的技术盛宴。

莫仁鹏介绍,作业帮,成立于 2015 年,是一家致力于用科技手段推动普惠教育的科技公司。作业帮的治理架构以服务网格为核心,服务网格作为基础设施层,主要负责处理服务间的流量通信,与服务部署在一起,对服务本身保持透明。在选择服务网格解决方案时,作业帮基于性能和可自定义的需求,放弃了开源的服务网格组件,而是选择自研服务网格。

在 1.0 版本中,作业帮自研的服务网格解决了云原生环境下大量服务的观测和管控问题。通过优化,网格的时延开销被控制在 1ms 以内,对比开源的服务网格组件的额外开销则普遍在 3ms 左右,同时开销也更加低廉,网格单核可以做到 10000 QPS 的访问。如此确保了自研服务网格对时延敏感的服务也能保持透明,使得治理框架得以在公司内部顺利落地。

2.0 版本在 1.0 的基础上进一步纳管了服务出流量,提升了服务出流量的观测能力,使得排查服务流量问题变得更加便捷。同时,在出流量管控上,新支持了连接转换、连接均衡、流量自定义分流等功能,确保了服务出流量的稳定性和低时延。

3.0 版本则在前两个版本的基础上,实现了对所有服务流量的全面管理,这一进步主要是出于对安全性的考量。在 3.0 版本中,服务网格不仅处理服务间的通信,还扩展到对存储访问和公网访问的控制。当前 3.0 已覆盖了作业帮内部 95% 的服务,有效支持了内部的安全治理需求落地。

在 3.0 版本,通过服务网格实现了所有存储密钥的集中管理,这一点在业界也是领先的实践。通过服务网格自动下发和注入存储凭证,确保了服务与凭证之间的隔离。而相比于传统基于框架实现的存储凭证自动下发能力,凭证数据与服务都是在同一个进程内的,无法从根源上避免凭证泄漏的问题。与传统方案相比,该版本在根源上杜绝了密钥泄漏风险,同时降低了管理复杂度,数据与服务可以做到一一对应,数据运维人员可以更好对数据访问进行管控。

在公网访问控制方面,3.0 版本通过服务网格对所有出向公网流量进行劫持,只允许访问经过严格审核的白名单地址。而传统的公网管控方案,基于安全组和防火墙的方式无法做到服务粒度的精细管控,只能按集群维度进行管理。在新的管控方案下,内部的服务默认无法访问公网,公网白名单则按域名维度给服务放开,如此大幅降低了潜在的安全威胁,同时也简化了网络流量的监控和管理。

此外,3.0 版本在数据加解密功能上也做出了创新。服务网格不仅负责存储密钥的管理,还集成了加解密模块,使得服务无需直接接触密钥即可完成数据的加解密操作。这种设计在保护密钥安全的同时,也减轻了运维的负担。与传统的密钥管理方式相比,我们的方案在安全性和效率上都有显著提升,密钥泄露的风险几乎降至零。

莫仁鹏表示,通过系列的迭代和优化,作业帮的服务网格架构不仅提升了服务治理的效率和效果,还增强了系统的安全性和稳定性。随着技术的不断进步和业务需求的不断变化,作业帮将继续探索和优化其服务网格架构,以应对未来的挑战。

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。