搜索
案例征集
请附上公司简介、业务介绍等相关资料及联系方式,与我们联系。
甲子星空坐标系:AIGC通用大模型产品测评篇
版权所有: 甲子光年
报告简介: ChatGPT的发布掀起了新一代人工智能发展浪潮,将人类科技文明推向了通用人工智能时代,各类机构陆续推出大模型测评体系,但多基于问题集的训练方式开展测评,很少从用户实际使用体验感知方面进行评价。 本次,甲子光年智库面向大模型实际使用者开展产品使用后的体验感知测评,以期从用户视角提供评价维度参考,并基于甲子智库原创的科技发展三大定律推导确定测评维度。 本次调研测评对象是AIGC通用大模型类产品。后续甲子光年智库将持续发布相关结果,并将持续开展AIGC中间层、应用层等测评并推出甲子星空坐标系。
查看
核心亮点

甲子光年于2023年4月25日提出人类科技发展存在三大定律:

  • 定律1:科技的发展轨迹存在“不可逆性”。

  • 定律2:能源与信息是人类科技进步的两把标尺。

  • 定律3:技术进步的本质是推动信息与能源的转化,以生产工具改变物理世界,继而满足人的需求。

定律1与定律2反映推动社会发展的先进生产力,体现先进性,如技术的智能水平、高度、强度、速度;定律3反映的是满足全社会需求的能力,体现普适性,如技术应用的广度、落地效率。

基于三定律所揭示的先进性、普适性两条路径,甲子光年智库推导确定AIGC通用大模型产品的测评指标体系,用智能化水平反映其先进性,用赋能空间反映其普适性。

甲子光年智库认为,在智能化水平方面,AIGC通用大模型产品需要体现内容的多元与创造能力,前后生成内容要一致且连贯,生成内容要使用户有一定的可控能力,且具有较高实用性,并可以像人一样进行沟通。因此,智能化水平从多样性、一致性、可控性、实用性、拟人性五大维度进行测评;在赋能空间方面,AIGC通用大模型产品需要体现用户使用后的满意情况,生成内容需要有一定准确性且可有效提升工作效率,并具有一定的应用广度。因此,赋能空间主要从满意度、信度、效度、应用广度四大维度进行测评。

  • AIGC通用大模型产品用户画像:一二线城市、中小微企业、教育科研领域居多。

  • AIGC通用大模型产品用户职业:内容生产者占比近九成,开发者占半壁江山。

  • 从用户使用热度来看,Top10大模型产品是ChatGPT、GPT-4、谷歌Bard、腾讯云、华为盘古、文心一言、360智脑、通义千问、商汤日日新和讯飞星火。 

  • 用户使用热度Top10大模型产品:60%侧重面向开发者,40%侧重面向普通个人。

  • 用户可接受最优价格是300元/季度,厂商最适合定价区间是300-3000元/季度。

  • 工作效率水平: 整体提升47.9%,医疗、金融等行业和翻译、科研场景提升效率高。

  • 市场地位:文心一言、腾讯、华为和商汤属星团象限。

  • 市场潜力:商汤、腾讯云和华为盘古的商业化落地潜力较大。

  • 核心场景:翻译、学术、设计属光年象限,商业潜力大。


投资建议

登录甲子光年
其他登录方式
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
找回密码
获取验证码
注册甲子光年
获取验证码
注册即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
绑定手机号
获取验证码
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
完善资料
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
微信登录
扫描二维码 | 授权登录甲子光年