
国产算力春天已经到来,夏天的热度也已经感受到。
2023年11月30日-12月1日,中国科技产业智库「甲子光年」主办的「致追风赶月的你」2023甲子引力年终盛典在北京举行。现场百余位嘉宾与数百位科技从业者齐聚一堂,全方位聚焦当前科技领域的前沿话题,共同眺望充满未知和新鲜感的明日世界。
在12月1日下午“奇点已来‘AI与元宇宙’专场”活动中,进行了一场题为《需求不断释放,国产算力迎来春天了吗?》的圆桌对话,中发展智源人工智能科技发展有限公司董事长周瑞作为主持人,与中关村门头沟园管委会副主任、一级调研员谭李丽、北京工商大学人工智能学院院长于重重、华为北京昇腾人工智能生态创新中心CTO 杨光、智谱AI COO 张帆、智进网络CEO 王少飞等几位嘉宾进行了深入探讨,给观众分享关于国产算力发展的观点和看法。
以下是本次圆桌对话实录,「甲子光年」整理删改::
周瑞:本来第一个环节应该是我来介绍各位圆桌论坛的嘉宾,换一种方式,由每位嘉宾用两句话自我介绍一下,从谭主任开始。
谭李丽:我来自中关村门头沟园管委会,我叫谭李丽,很高兴认识大家。
杨光:大家好,我是华为公司负责北京昇腾生态的杨光。
于重重:大家好,我是来自北京工商大学的于重重,我的位置稍有变化,我现在在数据科学与人工智能学部做主任,谢谢大家!
张帆:大家好,我是智谱AI的张帆。
王少飞:大家好,我是智进网络的王少飞,我们是致力于企业级大模型和智能企业技术研发应用和市场的公司,欢迎大家多指导,谢谢!
1.国产算力已经迎来春天
周瑞:刚刚主持人介绍了今年实际上是一个国产算力很凸显的一年,尤其是美国限制了“阉割版”的相关硬件以后,我们的国产算力实际上上半年情况是不好卖,下半年情况是不好买,从买方市场转向了卖方市场。第一个共性问题,请各位嘉宾结合国产算力这一年以来的变化或者是对未来趋势的判断,从自己的角度和工作领域讲一讲有哪些体会?

中发展智源人工智能科技发展有限公司董事长 周瑞
谭李丽:我的感受是比较深的。门头沟不知道大家有多少了解,从这个地方往东20多公里就到我们产业园区了,我们部局比较早已经有几年了,但是人工智能这个赛道的爆发可能确实是从今年年初开始的,标志性事件是ChatGPT上线以后。
我们门头沟打算力两张牌,第一张就是国产自主可控的体系,第二张就是建公共算力服务于中小企业的创新创业。这是两张牌,我在其中应该说是“春江水暖鸭先知”,因为我们一开始就在走国产自主可控这条道路,切切实实感受到瑞总刚刚说的上半年不好卖、下半年不好买,包括原来相关的合作方跟很多国产算力供应商都有合作,也感受到了需求的爆增,所以今天这个话题特别好,如果从我的角度我认为春天真的慢慢来临了。
周瑞:正好我们中关村发展集团和华为门头沟区政府打造的北方地区的第一个以昇腾910为核心的算力中心也在今年6月28日上线运营了,那么我们有请运营中心的CTO杨光来介绍一下。
杨光:我觉得周总这个问题挺好的,而且周总刚刚也深刻总结了我们作为国产算力代表“上半年不好卖,下半年不好买”的现状。其实我也认为国产算力迎来了一个春天,有几个原因。第一个是大模型来了,其实对于整个市场空间算力需求是爆增的,在一定的供应能力的情况下,我们出现了供不应求的现象。第二个就是从技术维度也给我们国产算力提供了很好的机会,从小模型走向了大模型时代,其实有几个趋势不管是从框架层面还是从模型算子层面,还是从模型架构层面,其实都相对比较收敛及聚焦,在这个过程中,对于国产算力生态层面的挑战,其实也会变的稍微小了一些。另外其实在国产算力这个维度,我们与门头沟区包括周总、北工商、智谱都在做一些生态共建的事情,所以在这个维度我们的生态是越来越丰富的。

华为北京昇腾人工智能生态创新中心CTO 杨光
周瑞:生态还会继续丰富下去,想请于院长也谈一谈除了GPU以外,还有哪些硬件方面的技术是能够支撑国产算力发展的?
于重重:我们从教育这个行业来讲,我们学校属于北京市的高校,在人工智能发展过程中学校有几个层次,都要用到人工智能的技术。第一个大的层次,我们学校在商科数字化转型这个层次上,很多专业都要辅助用到人工智能技术。第二个是在信息类的专业中,多数的信息类专业包括计算机、人工智能、电子信息类的各种专业都需要用到现有的人工智能各种各样的算法和算力。第三个就是纯人工智能专业更需要紧跟着现有的时代发展的脉搏,用到这种算力。
其实从去年下半年,我们就加入了门头沟整个的算力的大计划当中,我们希望从教学口这个角度来讲,去探讨一下在算力服务当中怎么为学校的教学进行服务。今年正好赶上大模型井喷式发展,我们也是希望能够把算力引到学校,所以一直在思考从教学口当中如何快速的跟上潮流,感受到整个新技术的发展。从GPU这个角度,原来用到的都是国外的像英伟达的GPU算力架构,后来因为考虑到国产化的问题,也考虑到下面边端计算的问题,所以逐渐面向国产化的算力,首选了华为昇腾这部分,此外像寒武纪在边端的技术我们也进行了考虑,整体是这样的。
2.国产算力依然面临严峻挑战
周瑞:智谱华章也是现在全国甚至全球比较知名的大模型企业,您作为COO来说,我相信大家很多人都关注,你们在选择算力的时候是以国外的算力为主还是以国内的算力为主,还是以一个什么样的趋势来选择这些算力,国内这些算力对于支撑贵公司大模型的训练和发展有哪些薄弱环节,希望您给分享一下。
张帆:我们其实是纯自研的国产大模型,所以在很早的时候就很关注国产算力,即使在大家还没有进入制裁的时候,包括去年,可能不能说唯一,但也是少有的在去年8、9月份就用昇腾的910A训了一个百亿的模型,算是在应用上拥抱国产大模型的先行者。
随着禁令的加强,我们今年迅速切换了合作伙伴,与昇腾合作发布了一体机。在各个领域中,我们已经为11个国产信创芯片颁发了认证并进行了适配。从应用角度来看,美国的禁令实际上为我们提供了一次加速的机会。起初,大家可能并没有下定决心,但在当前的形势下,没有坚定的决心是不行的。因此,这也加速了大家拥抱国产算力的进程。我们在非常短的时间内就推出了许多可以直接落地的应用产品。虽然有禁令的存在,但这并没有给我们带来太大的阻碍。可能在性价比方面,我们还需要一些时间来追赶,但无论如何,我们都看到了它快速的发展速度,并且可以预期,未来一定会很快赶上。

智谱AI COO 张帆
周瑞:实际上先是解决能用的问题,然后慢慢的解决好用的问题,这样能够有效避免被美国制裁。下一个问题想问一下王总,您对国产算力的发展趋势及其面临的挑战,有什么样的看法?
王少飞:正如标题所说,我认为国产算力一定会迎来春天,而且这个春天是加速朝向夏天的,温度持续高涨。我作为一个AI从业者,经常在朋友圈看到有人求购NVIDIA的芯片,价格高昂,供不应求。我们在今年6月份成为了第一家使用门头沟昇腾算力中心的企业。在上线之前,我们一直在争取介入。与其他AI企业和大模型企业不同,我们没有花费高昂的价格去购买芯片。以上就是我结合我们自身的情况讲了一下应用国产化算力和研发企业级大模型和智能体技术的感受,谢谢。
周瑞:第二轮挨个问一些特定的问题,首先问中关村昇腾创新中心的CTO杨光先生,目前昇腾已经把国产的910A的算力部署在咱们京西地区,100P已经上线了,在这个部署的过程中,您在服务于这些创新创业企业,特别是要用国产算力企业的过程中,您都做了哪些工作?怎样让他们适配、适用于国产算力?帮助他们成长。
杨光:其实在这个维度,我们做的非常体系化,有以下几个关键的举措:第一,打铁还得自身强,作为一个AI基础软硬件提供方,我们的核心还是在底层,也就是把硬件以及上层调度软件层面做到极致。把集群的规模做到越来越大,而且越来越快,这是我们本身的能力。第二,从使用者的角度来看,国产算力面临的最大挑战是生态问题。今年,整个昇腾的生态有一个很大的突破,例如主流的Hugging Face社区等等,以此来兼容现在业界主流使用的模型、框架,来兼容用户的使用习惯。第三,我们针对使用门头沟算力的企业,在本地也建了一个服务的团队,大概有40人的规模,不管是从解决方案的设计、使用国产化算力的技术难题攻关以及联合解决方案的营销上市上,我们都提供了一个全生命周期的服务。当然依托于华为本身的平台以及能力,我们在这里推出了一系列面向合作伙伴的计划,包括说昇腾的合作伙伴计划,帮助伙伴去更好、更低成本打造一些有竞争力的,基于国产化平台的解决方案。第二块我们在这个维度也推出了一系列面向前沿的科研探索,包括面向人才培养、人才加速计划等一系列的举措,这些都整个围绕着门头沟AIGC的国产化生态更加繁荣。
周瑞:据我所知咱们在门头沟创新中心,依托于的算力是910A,马上是不是就应该有910B的300P要上线了,结合着这个算力规模的扩大,我记得您应该是有一个40人的技术团队,像刚才元宇宙的几个企业家,对模型的调优、算法的选择、应用的部署不太了解,您的团队有哪些具体的方法或者手段,能够帮助他们呢?
杨光:我想从几个维度来谈谈我们的计划:首先,我们提供了共性的能力,通过定期的技术培训赋能给开发者,包括一系列的沙龙、交流和论坛形式。其次,我们的算力平台已经适配了现在主流支持的大模型和小模型,尤其是针对孵化L1大模型的企业,例如如你要使用一种模型来孵化行业模型,只需带着数据,我们的全流程包括预训练、微调+推理部署都能够支持。最后,如果你需要针对模型调优定制化的服务,我们现在正联合智谱华章,提供一系列针对模型本身的优化和调优能力。
周瑞:给大家总结一下,在座的各位以及线上的朋友,如果说有需要用到模型来帮助自己的产业提质增效,你不需要懂得算法的开发,不需要懂得编写代码,你就带着你的需求来,咱们杨光总这块带领40人的团队,从预训练到调优、部署,甚至跟你做私人化的一体机,都没有问题,我总结对吧?
杨光:周总的总结太精辟了。
3.协力打造人工智能生态
周瑞:下一个问题是给两位企业家的,主要是想从企业发展的角度,了解一下两位企业家关于现在算力方面最迫切的需求是什么?第一个先请张帆总,我最近在各个地方对接各政府发展人工智能产业的时候,都听到说有一家北京的大模型企业,要用我们这里的算力3000P,我们正在采购谁家的设备,准备为他们私人定制。我想问一下张帆总,你们的需求真的这么大吗?到底有多大?有多迫切?这对于下游的硬件厂商来说还挺重要的,实际上你们就是他们的客户,你们给他们创造了市场?
张帆:我们确实对规模有要求,训练是一方面,另一方面是使用智谱大模型开放平台的用户数量在快速增长,几乎每个季度都有N倍甚至10倍的增长。推理方面的需求也非常大。获得高性价比、稳定且高效的算力服务是我们非常看重的。在短期和稍长一点的时间内,我们也期望能够将训练切到国产芯片上。因为从长期来看,国产芯片特别是昇腾可以很好地解决这个问题。我们已经完全训过百亿级的模型,所以这些经验是有的。
但是更大规模的切换可能需要一点时间,包括一些生态上的问题。最大的差距已经不是算力,而是在生态上需要给国产芯片一点时间。包括像CUDA这样的生态,以及算子的优化。去年我们在训百亿模型的时候,与昇腾一起优化了很多算子,效果的提升也挺明显的。我们的第一步已经完成,就是先把供给铺上。第二步就是让它成熟起来,这是一个必要的路径。我们可以看到这个路径是通畅的,并且已经在这条路上走,速度也在逐步加快。
周瑞:特别好,实际上大模型的百模大战也好,万模奔腾也好,带动了国产算力一个巨大的市场。由于模型的训练和推理,加上美国的限制,无形中刺激了我们国产算力的发展,提供了一个巨大的市场。少飞老总,就您来说贵企业在发展过程中,对国产算力还有哪些具体的要求、想法?或者是建议?
王少飞:刚才听了张帆总的介绍,我觉得分享的很好,因为我们的定位不一样,我们之前还是定位于做行业的企业级模型,智能体。我们对接最终的用户主要是一些大型的企业、银行,包括军队、军工,他们有大量的私有化的数据,他们的数据是不能够轻易的去触网的,他们的需求更多的是企业级大模型私有化部署,并且不联网,所以在这方面我们做了大量的技术工作。
在这个过程中,这样的企业级客户,首先是不可能去买的,他也买不着,这个时候我们非常需要跟昇腾联合做整体的解决方案,包括刚才张总提到的,用户在与大模型训练和推理的时候,对于板卡的需求是不一样的,训练可能是一个高并发的板卡,推理可能没有那么大的并发需求。训练是一个低频的事情,推理可能每分每秒都需要。其次是说我们服务于最终用户的过程中,我们也发现需要国产化算力去加速生态的发展,毕竟现在还是一个春天。
当然我们也观察到像昇腾前一段完成了和PyTorch的一个适配,我觉得非常好,非常棒,其实这样做很大程度地降低了我们从N卡迁移的成本,包括扩大生态迁到华为的生态。我们希望昇腾,包括国产化算力,能够加速生态的建设,在这个过程中,我们也愿意作为一个支持方,去共享我们自己的力量。谢谢。

智进网络CEO 王少飞
周瑞:下一个问题我们想请问于主任,跟于主任认识也有两年的时间了,最开始认识的时候,您是北京工商大学人工智能学院的院长,现在北京工商大学进行了学部制的改革,把数据科学与人工智能合并,成了一个大的学部,贵校对于这种改革或者在人工智能教育培训方面还有哪些新的尝试和突破呢?也请您分享一下。
于重重:我们学校在2020年就成立了人工智能学院,将人工智能作为我们学校的发展突破口,并作为商科教育的基础。现在,我们成立了数据科学和人工智能学部,是希望它成为学校发展的三角支架,其中数据科学和人工智能是支架中最基础的部分。从学校和培养学生的角度来看,在人工智能相关专业的人才培养中,学生需要了解基础技术、技能和理论,同时还要紧跟行业先进技术。最近一段时间,由于大模型带来了新技术,我们也需要对老师进行培训,让他们改变知识体系结构。
为了实现这一目标,我们需要与各大厂商、政府机关和其他部门进行合作。在过去的两年里,我们与百度、商汤、华为等大厂,以及智谱华章等创业创新公司,还有像美的、方太等利用AI技术的传统公司进行了密切合作。在合作过程中,我们将实践教学的内容引入到教学模式中,以培养老师和学生的能力。今年,我们学校与门头沟和昇腾建立了合作关系,加入了昇腾创新教育融合平台,并加入了其他各大厂的培训教育体系中。这将使学生能够快速适应科技发展的需求。

北京工商大学人工智能学院院长 于重重
周瑞:谢谢您的介绍,说到了既有对师资教育的培训,也有对本科研究生的教育培训,既有校内的课程培训,又有和产业园区相结合的产融结合的培训,整体来说北京工商大学在这方面教育理念很超前,而且布局也很全面,也给您打个广告,欢迎大家积极报考北京工商大学,不论是职业教育还是研究生的学历教育都欢迎。
下面这个问题要请教谭主任了,昨天我看到公众号上发布《关于门头沟区大模型三年行动计划》,您能不能在今天的现场分享一下最新鲜的三年行动计划。
谭李丽:感谢瑞总的关注。确实,今天是一个值得庆祝的日子。我们昨天下午刚刚发布了三年行动方案,这个大模型的三年行动方案旨在从六大方面和二十二个点来助推人工智能产业生态的打造。比如,我们提出了希望在2026年实现引入5家通用大模型企业,在上面构建50个垂直领域的大模型企业,再孵化300家人工智能应用型企业的目标。这其中包括构建生态产业要素,推动场景开放和牵引企业商业闭环,以及一些核心技术攻关方面的投入。此外,我们还注重产学研用的联动。请大家关注我们的政策,这些政策实际上只是我们培育整个门头沟人工智能生态的一个方面。今天在座的各位,包括瑞总,都是我们门头沟打造人工智能生态的重要一环。
实际上,生态这棵树的成长是一个系统性的复杂工程,我们需要算力、大算力作为基座,大模型作为孵化垂类模型的基座,还需要人才的辅助。政府在其中为这棵大树提供阳光雨露,政策就是阳光雨露的一部分。除了政策之外,我们还有一系列的举措,包括把合作伙伴聚集到这个地方,提供成长的空间和软硬性的服务,以及量身打造企业需要的成长服务。这是我们现在正在做的,我们也相信未来一定会为国产算力春天的到来添砖加瓦。

中关村门头沟园管委会副主任、一级调研员 谭李丽
周瑞:我觉得是时候把今天在场同志们在生态里面扮演的角色给大家总结一下了,另外我也向大家汇报一下中关村发展集团作为市属国有企业也在配合区委区政府打造人工智能的生态雨林,其中包括5个专业。
第一个是我们有一个专业的团队在做这个事。我所在的公司,中发展智源,大股东是中关村发展集团,二股东是北京智源研究院。第二个就是我们在京西地区建设了一个专业的以人工智能为主题的产业园区,大家可以搜一下中关村京西人工智能科技园,一期结构已经顺利封顶,明年年底就能交付大家使用,实际上现在已经有5家企业在和我们谈定制了。第三个是我们的平台,专业的园区一定得有专业的平台,今天在座的各位都是我们平台里的合作伙伴,既有算力的、有人才的,又有L0级、L1级模型的,又有垂类模型的,还有政府的良好的行动计划和优秀的营商环境以及政策。第四个是有基金,任何产业初期的发展都要靠资金的引导,所以三年疫情结束以后,大多数创新企业面临两个问题,一个是找不到钱,第二个是找不到应用市场,所以欢迎大家来到京西,我们既能提供资本上的支持,又能提供市场应用场景的支持。第五个也是我们中关村发展集团在这13年的历史过程中形成的五大类203项服务,股权类投资、债权类融资、专业平台、科技园区以及中关村论坛,帮助大家做推广。
今天很荣幸也很高兴受主办方的邀请主持这个活动,也很高兴跟各位嘉宾在这个圆桌论坛交流国产算力迎来春天这个话题,我相信随着人工智能产业的发展,随着国产硬件生态体系的不断完善,春天已经到来,夏天的热度也已经感受到,欢迎大家继续关注我们,谢谢大家!今天的讨论就到这里结束。