阿里版 ChatGPT 官宣!我们用 16 个提问,火速进行了测评……

百家 作者:AI100 2023-04-10 12:18:15

整理 | 郑丽媛
出品 | CSDN(ID:CSDNnews)

平地一声雷!天中午阿里版类 ChatGPT 「通义千问」突然官宣:

没错,就这 3 行简短介绍 + 1 个官网地址,再无其他“”。

好在,CSDN 有幸拿到了义千问」的批内测邀请码!既能第一时间体验这神秘的义千问」,那就让我们一同看看:这个里版 ChatGPT,它的水平究竟如何?

自我介绍


首先,让义千问」来个官方的自我介绍:介绍一下你自己吧。

相信许多人都好奇义千问」的优势何在,那就让它自己回答:你与其他大规模语言模型相比,有什么优点?

有了初步了解后,那么接下来就让我们步入正题:围绕文学创作、数理逻辑推算、中文理解、代码生成这四个角度,实测「通义千问」的对话水平。(注:因同是“国产版 ChatGPT”,所以本次部分提问内容也参考了上次评测「文心一言」的题目。

推荐阅读:《文心一言 vs ChatGPT!相同 10 问,结果出乎意料》


代码生成


ChatGPT 能成为程序员的“辅助神器”,并成功出圈的最主要原因之一就是其出色的代码生成能力。因而,本次对「通义千问」的测评我们也先从这方面开始。

先来个简单的:用 Python 实现冒泡排序。

提问:请写代码解决"把 abcd...s 共 19 个字母组成的序列重复拼接 106 次,得到长度为 2014 的串。

接着:使用函数递归的方法打印斐波那契数列的前 n 个数:0 1 1 2 3 5 8 13 21 34 ……, 找出正确的选项。

再提问:请写一个使用逻辑回归模型判断用户更喜欢通义千问还是 ChatGPT 的训练代码。

继续:请用 C 语言,使用动态分配内存的方式,模拟 C++ 中 Vector 容器,实现动态数组的构建。

英文提问:“Using Python to Define a class named Vector to simulate the C++ Vector container and implement dynamic array construction using dynamic memory allocation.”

于以上义千问」生成的代码我们咨询了 CSDN-AI 团队研发总监进行评价:

阿里云的模型对于随机抽取的常见代码片需求,基本能理解需求,生成合适的代码。能区分生成代码对指定语言的需求。能区分中英文问题输入。简单的冒泡排序和领域特定的逻辑回归代码,都能生成合适的代码,总体表现不错。在理解代码需求的推理能力上,则还有待加强(那个字母的题)


文学创作


提问:龟兔赛跑的结局是什么?如果要续写这个故事,可以有哪些角度? 

从「通义千问」给出的回答来看,它能正确给出简单故事的结局,对于续写角度的建议也较为全面。


数理逻辑推算


提问:一个笼子里有 9 个头,30 只脚,应有多少只鸡,多少只免子?

面对经典的鸡兔同笼问题,「通义千问」在得出正确答案的同时,解答过程言简意赅。

提问:7 年前,妈妈年龄是儿子的 6 倍,儿子今年 12 岁,妈妈今年多少岁?

解答这道小学奥数应用题,「通义千问」的表现也可圈可点。

提问某厂一车间有 64 人,二车间有 56 人,现因工作需要,要求第一车间人数是第二车间人数的一半,问需从第一车间调多少人到第二车间?(列方程解答)

不过,对于这道上次「文心一言」没答出的初中数学应用题,「通义千问」也出了点问题:方程是列了,但少了个将 56+x 括在一起的括号。看来在较为复杂的逻辑推算上,“国产版 ChatGPT”还有待加强。


中文理解


提问“洛阳纸贵”具体是什么意思?

提问:京剧中的生、 旦 、净、丑分别指什么?

在中文理解上,「通义千问」的回答虽然比较简短,但大体是正确的。


再闲聊一会儿


与上次测评「文心一言」一样,最后我们也来看看「通义千问」的闲聊水平如何。

提问:我有点饿,请你推荐一道成本低于 30 元(人民币)的菜及其做法?

很好很贴心,连食材单位都很详细,手残党必备。

提问:你的出现会对程序员产生什么影响?是否会取代一部分程序员?

与 「文心一言」和 ChatGPT 相似,「通义千问」对于这个问题的解答也很客观中立。

至此,本次 CSDN 对于「通义千问」的测试就到此结束了。那么通过这些 Q&A,你对这个阿里版类 ChatGPT「通义千问」的评价如何呢?

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接