当前，人工智能大模型已成为科技创新和数字经济领域的热点。科技部在 2023 中关村论坛上发布的《中国人工智能大模型地图研究报告》显示，中国人工智能大模型正呈现蓬勃发展态势。据不完全统计，截至目前，参数在 10 亿规模以上的大模型全国已发布了 79 个。
当前，人工智能大模型已成为科技创新和数字经济领域的热点。科技部在 2023 中关村论坛上发布的《中国人工智能大模型地图研究报告》显示，中国人工智能大模型正呈现蓬勃发展态势。据不完全统计，截至目前，参数在 10 亿规模以上的大模型全国已发布了 79 个。
然而，大模型高速进程中面临的诸多问题也引发了业内关注。FATE 开源社区技术指导委员会主席、香港科技大学讲席教授杨强指出：「即将消耗殆尽的公域数据，日趋高涨的隐私安全保护需求，以及众多异构小模型的整合需求，已成为 AI 大模型发展之路上亟待突破的瓶颈。而联邦大模型正是解决这些问题的有效路径。」在此背景下，隐私计算联邦学习开源平台——FATE (Federated AI Technology Enabler）发布了「FATE-LLM 联邦大模型」功能模块，以「联邦学习+大模型」的技术解决方案破局数据隐私保护与数据不足等问题，在各参与方的敏感数据不出本地域的前提下，根据各方实际数据量进行算力投入，联合进行大模型训练。
近期，联邦大模型 FATE-LLM 最新版本发布，在横向联邦场景支持 ChatGLM-6B 中文语言大模型。集成 GLM 的 FATE-LLM将会为国内用户提供更好的中文大模型应用落地选择。
GLM 系列大模型由清华大学和智谱 AI 联合研发，其中 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。开源两个月以来，ChatGLM-6B 在全球开源软件平台 GitHub 上获得超过 26 万星，超过斯坦福同期模型的关注度和好评度，全球下载量超过 200 万，并连续两周登上全球开源大模型平台 Hugging Face 大模型趋势榜榜首。
此外，FATE-LLM 新版本在横向联邦场景支持 Adapter、Prompt 这类高效聚合方法，可以显著提升联邦大模型训练效率，其中参数微调方法支持 Lora 以及 P-Tuning V2。而在框架层，FATE 实现对 DeepSpeed 的集成，使得 FATE-LLM 支持多机多卡训练，支持分布式 GPU 集群资源调度和管理，支持数据、模型参数等不同并行化加速方法。用户只需要任务提交阶段直接增加配置即可享受到多机多卡的加速能力。
未来，支持中文大语言模型 ChatGLM-6B 联邦化训练的 FATE-LLM 将通过联合多家公司和组织，充分利用分散数据，融合联邦学习和人工智能生成内容（AIGC）相关技术，实现异构数据分布式安全训练。其中针对中文方面的优化，将为金融、教育、医疗等领域的应用带来更强大的支持，例如人工智能助手、智能问答、自然语言处理等场景将会得到进一步的效果提升。
清华大学教授唐杰表示：「作为科研人员，我们希望在开展大模型技术研究与应用落地的同时，也进一步降低人工智能的使用门槛，实现技术普惠，为行业良性发展做出一些贡献。」
饮其流者怀其源。开源不仅是一种技术选择，更是一种分享态度与沟通方式。开源平台和开源生态将助推大模型的快速迭代与落地应用。联邦大模型将大模型与隐私计算核心技术手段融合，使大模型的「野蛮生长」转向更加安全可靠的发展赛道，在提升 AI 通用性的同时不违背监管与伦理的要求，推进 AI 技术高质量发展。
来源：互联网
