2023年6月2日—3日，第七届集微半导体材料峰会在厦门市隆重举行。做为第七届集微半导体材料高峰会的重磅大会之一，高峰会当日举行的通用半导体行业运用高峰会以“对焦运用，集智创芯”为主线，邀约有关生产商讨论不一样运用环境下的处理芯片发展趋向，一同分析产品用途和科技突破，共创竞争优势。

天数智芯产品系列首席总裁邹翾在这次大会上发布了名为《国内GPU助推大模型实践探索》精彩的演讲。

伴随着AI大模型的崛起，邹翾觉得算力市场需求的空缺极大，但寻找算力时客户首先理清大模型对于自身业务流程其价值及其其对于算力有怎样的要求。

从宏观模型的发展历程来说，不论在当然视频语音、图象或者视频行业，它的价值的关键全是智能化的表现力超过人的期望，能够对日常事务开展实实在在的帮助。并且，伴随着大模型参数值超过一定规模，一个新的水平也在不断地“不断涌现”。

另一方面，伴随着预训练模型的兴起，一个新的领域建模方法在取得更强功效的与此同时，也能够降低模型的获得成本，这将会促进大模型运用的快速普及化。邹翾强调，相较于传统的模型训练方法需要大量标注数据或进行模型训练，预训练新范式能够降低客户的数据收集成本费及其模型核算成本、支持更快的运用落地式，让企业获利。

伴随着大模型落地式，算力市场需求的空缺在不断发展。 根据Transformer构造大模型因为训练参数值规模的提高导致测算需要量级提高，造成测算算力紧缺。邹翾强调，算力是否足够直接决定了各公司大模型新产品的成与败。对头部企业而言，早期GPT大模型大约需要1万册的NVIDIAGPU，但迭代更新大模型或最少要千余张最先进GPU才能实现。伴随着这一领域发生众多追随者，针对跟随企业而言，肯定会在算力上不能输于头部企业，甚至要开展更多算力基建投资才能达到追逐。

市场中虽然拥有很多不同类型的算力处理芯片，但是从基层一目了然真真正正支撑点大模型的算力需要是什么？邹翾表明，这可以从优化算法要求:模型、计算框架层及算法加快下手。要认清大模型的开端仍然是小模型算法模块，针对该控制模块要尽量重复使用与可调节；而框架层对于大模型的拆卸，要了解各种各样并行方式，最主要的要支持测算/访存/通信可分割；算法层层面，为推进进一步的并行处理提升，需要把实行一个单元分割后新要求重新组合，然后进行逻辑性排列，但这种重新构建必须处理芯片最底层灵活多变的通用指令系统支撑点。

因此，邹翾汇总，算力要求方面要了解三大要素：一是通用，可支持模型的高效变型、迅速支持新算法、迅速支持新通信；二是实用，可充分利用算法模块完成、优化工作经验可供借鉴；三是通用，可重构并行处理、访存全互换、测算全互连。

除算力以外，也有进一步的考量因素。邹翾进一步提及，训练的集群式必须不计其数卡与此同时运作，要确保在训练全过程里能连续运行并且不出现故障，对产品稳定性和安全性造成极明确的规定。与此同时，还需要支持可扩展性韧性水平，完成算力弹力可扩充。除此之外，还需要给予坚固的保障，在常见故障出现的时候能快速精准定位并尽快恢复。

切合大模型的高速发展时尚潮流，天数智芯借助通用GPU架构设计，从训练和逻辑推理2个视角为用户提供支撑点，着力打造性价比、通用的全栈式集群式解决方法，为大模型时期给予强劲算力基座。

据了解，天数智芯的通用GPU商品天垓、智铠系列产品具备性能卓越、广通用、项目成本低特性，普遍支持DeepSpeed，Colossal，BM Train等各类大模型架构，根据其所组成的算力集群方案不但可以有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune，还匹配了清华大学、智源、复旦大学在内的中国好几个科研机构的开源软件。能够为行业小伙伴提供一站式大模型算力及创变服务项目。与此同时面对大模型逻辑推理侧一体机，性价比高已经能够超出中国现有市场主流产品。

为更好地助推大模型的高速发展，天数智芯还紧紧围绕基础技术支撑点做了许多课程。邹翾介绍道，一方面天数智芯将采取更大化数据信息重复使用、可扩展性大矩阵运算和存算多线程、混合精度Transformer加快、高效率带宽测试显卡内存及P2P等形式来提高处理芯片特性。另一方面，不断在基础软件层面提高整体实力，在支持最前沿大模型、支持混和并行处理对策、支持新式Att加快、适配APIs支持模型缩小等轻量布署等各个方面合理布局。

最终邹翾提及，不论从运用或是产品研发角度来说，大模型要求会不断攀升，天数智芯都将不断始终致力于优化算法简单化、逻辑推理模型提升及其减少存储互连成本费助推。天数智芯将继续自主研发客户实用的通用GPU商品，不断完善算力解决方法，兼容支持更有效、更加复杂优化算法大模型，为国内大模型改革创新、运用落地式提供更扎实的算力支撑点。