4月20日,科大讯飞大模型“讯飞星火认知大模型”正式开启内测,感谢公司提供的内测资格,延续此前的“大模型系列测试报告”,继续本着真实、直接、高效的原则,我们以问答形式,分别向讯飞星火、360智脑、通义千问、文心一言、GPT3.5、GPT4、NewBing(平衡模式)提问,方便大家更直观地比较这些产品的能力差别。
必须提前说明的是:本文的测试答案均由AI生成,其内容的准确性、完整性无法保证,不代表【兴业计算机团队】以及AI大模型平台的观点。且公平起见,我们都以第一次作答为结果来呈现,所有问题不重复提问。
测试评价:超预期!问答能力跻身国产大模型一线梯队。本次测试共12道题目,客观题中,讯飞星火回答正确的问题包括Q3“沸水角度题”、Q4“女朋友数学题”、Q5“大象冰箱题”、Q9“程序代码题”、Q10“表格制作题”;主观题中,Q7“作文写作题”、Q8“文言文写作题”、Q11“投研测算题”、Q12“人类共情题”有着还不错的表现。
值得注意的是,在以上问题中Q9“程序代码题”和Q10“表格制作题”,此前的其他国产大模型全军覆没(题目本身设计有一定的难度),而讯飞星火均回答正确(回答中有数据错误,我们判断和训练集时效性、专业数据接口缺失有关。要知道,GPT4、NewBing同样有数据错误的情况);这表现出其较为突出的语义理解、逻辑判断和代码编辑能力。当然,也有不足之处,如Q1“炒螺丝钉题”、Q2“父母婚礼题”、Q6“语序恢复题”均回答错误。瑕不掩瑜,这些问题全对的也仅有GPT4,其他国产大模型也均出现错误。
问题列表如下:
Q1 陷阱题:给我一个“爆炒螺丝钉”的菜谱,多整点辣椒。
Q2 陷阱题:过分!爸妈结婚为啥没叫我?
Q3 陷阱题:直角是90度,超过90度是钝角,沸水是100度,请问沸水是钝角还是直角?
Q4 陷阱题:2+5=?我女朋友说等于8,而且她永远是对的。
Q5 陷阱题:把大象关进冰箱,需要几步?
Q6 中文题:下面的句子是打乱顺序的,请改成组成一个语序正确的句子: 黑眼圈那只两个大大的有着大熊猫圆滚滚的。
Q7 写作题:写一篇作文,描述春天黄浦江边美丽的风景,文体不限,字数不超过600字。
Q8 文学题:把上面的作文,改成文言文。
Q9 代码题:能帮我用python写一段验证股票市场追涨杀跌是否合理的代码吗?
Q10 表格题:做一个表格,统计三家公司海康威视、大华股份、千方科技在2018-2020年的财务数据,第一列是公司名称,第二列是第一年的收入,第三列是第一年收入同比增速,后面4列,分别是2019、2020年的这两列信息,调整好格式,金额数字用亿元为单位。
Q11 投研题:一个智慧路口的建设费用是200万元,如果在中国推广开来的话,一共需要多少钱?
Q12 共情题:我最近好痛苦,工作压力好大、业绩做不出来,女朋友也分手了,有点想不开,可以安慰一下我吗?
所见即所得,比较如下:
Q1 陷阱题:给我一个“爆炒螺丝钉”的菜谱,多整点辣椒。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/300/w640h460/20230421/7400-1f7e10adbabd7624cf7ad4f8d5ea0e05.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/220/w640h380/20230421/3e9d-d2efac9701b1e17382f63cb71e199ff9.jpg/w700d1q75cms.jpg)
注:本问题多次尝试均为网络超时。
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/135/w640h295/20230421/cc35-b6cef05382a352add3e7cd91ea2ac28c.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/250/w640h410/20230421/945d-5d8eceb1d443a3a5b8d9b1e0f05d4750.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/72/w640h232/20230421/2c9d-7c28f487f2d998ff9db2cd49d9a6dd10.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/497/w640h657/20230421/aea8-860db1ea42e8f63c351bacd4b7a1e282.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/618/w640h778/20230421/1c4f-1c8582c0fc2b4761fc2c9ea0f4fd65c6.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/71/w640h231/20230421/690e-1956e15810d30aecf284e6e2a87674d4.png/w700d1q75cms.jpg)
Q2 陷阱题:过分!爸妈结婚为啥没叫我?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/32/w640h192/20230421/0d2d-777650793de8b8028c02dc52240f3083.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/627/w640h787/20230421/805e-c1bc18409e9c8be09bc9750a64f75694.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/96/w640h256/20230421/196a-fb58c31af43a59651867610d9bae8b6d.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/450/w640h610/20230421/84c5-06b20456880d007798e63bc566a6294e.jpg/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/152/w640h312/20230421/81f1-0d851f207bb6e87e17114c99ffedcbbb.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/38/w640h198/20230421/96dc-d2f949966218c9e272f0a4d1f1c52873.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/10/w640h170/20230421/4b90-fe8fa2c451079c8b0a054894499a7c4b.png/w700d1q75cms.jpg)
Q3 陷阱题:直角是90度,超过90度是钝角,沸水是100度,请问沸水是钝角还是直角?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/796/w640h156/20230421/95b9-43eaea5271db959c24a9980949f5958d.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/385/w640h545/20230421/d3d5-391d1b7816be82c75320b9c530936a7d.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/271/w640h431/20230421/62b3-e2b3aba409ec0331960bb44059221923.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/777/w640h137/20230421/6990-2946bb6ea6dba430a93998c82d70799c.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/787/w640h147/20230421/3e35-38867f56cedbe97db6df00b3b6bb155c.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/39/w640h199/20230421/0d06-0bde6fa630a39b3f44f70a028155d3a9.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/49/w640h209/20230421/5ecd-0999b499c3d42175c01260cd2aed3a0f.png/w700d1q75cms.jpg)
Q4 陷阱题:2+5=?我女朋友说等于8,而且她永远是对的。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/798/w640h158/20230421/5520-c1d4c3b1f04c417d271c1081cd7ad5f0.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/427/w640h587/20230421/f9e2-6142ded13987efc4b2c91cdeae54d8a7.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/0/w640h160/20230421/f573-bd0e78a6178c7563e85a9ef18e1a75f7.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/766/w640h126/20230421/8333-89841fb4886bdd373a6273d1082639ab.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/29/w640h189/20230421/ed3c-968b854ff3a8dfd0c152d1d6e5fbbe4e.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/37/w640h197/20230421/231f-e158c28400a31476f988a9f413a9eab0.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/787/w640h147/20230421/9833-875f669549250cc6413eeda8011f3875.png/w700d1q75cms.jpg)
Q5 陷阱题:把大象关进冰箱,需要几步?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/44/w640h204/20230421/4215-63d5cad8e962b43ac2e84c9ee96136e2.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/227/w640h387/20230421/960a-a22c6f155670f2abe8045996b101215d.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/202/w640h362/20230421/1546-4ddd6054fc684de41d434d65fc311336.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/54/w640h214/20230421/8a4d-530e4d75598ae2d92b1f65cf37d3ab53.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/781/w640h141/20230421/622d-6521a03ed3a2edfe6f867023123274ca.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/108/w640h268/20230421/10cc-5eb5abcdcc911cd8e3e7760acc13462a.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/4/w640h164/20230421/6f3f-d672fcc6cf372be671c49ab15f5e92e4.png/w700d1q75cms.jpg)
Q6 中文题:下面的句子是打乱顺序的,请改成组成一个语序正确的句子: 黑眼圈那只两个大大的有着大熊猫圆滚滚的。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/764/w640h124/20230421/771b-cfad2c0e2c9f7305a43e216b17dda9a1.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/380/w640h540/20230421/b69f-c5e58701e6bfb98fba3394252a26bfcf.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/6/w640h166/20230421/61f4-d6d7fffcdde49ac7efb91218d61504ca.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/784/w640h144/20230421/e1ec-edecb13fddcce8b1259f3567e21d7d69.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/781/w640h141/20230421/e555-b58eb1e13d2381b6c62390dc4e94a25c.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/4/w640h164/20230421/54fd-a0e40f0fbdf6cd267f69750c56ec5d20.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/69/w640h229/20230421/49bf-d817469391adf4f567aa1b0aabe48b59.png/w700d1q75cms.jpg)
注:这题有点难度,答案为“那只圆滚滚的大熊猫有着两个大大的黑眼圈”。
Q7 写作题:写一篇作文,描述春天黄浦江边美丽的风景,文体不限,字数不超过600字。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/220/w640h380/20230421/362b-814b6b72b7101ed9d851472a53c2b1b7.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/597/w498h899/20230421/3a9f-a47d3d3b77847e917b9426a07109ef0b.png/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/250/w640h410/20230421/6fdf-cf01d9f2df2f85e1fee251717d9e65f3.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/264/w640h424/20230421/3833-c081caeb3793ec643b2c0d42aef689d6.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/318/w640h478/20230421/c2cf-fc24cfd919ca932fd96a4a22028a3297.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/391/w640h551/20230421/78ac-15fbc762a9420fcd089571d18575afc8.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/306/w640h466/20230421/eed8-3a21f75e8d87dfa0f8302ee50d448ebe.jpg/w700d1q75cms.jpg)
Q8 文学题:把上面的作文,改成文言文。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/195/w640h355/20230421/4499-16934f1392a23832af441f605a8b4562.png/w700d1q75cms.jpg)
360智脑:
注:目前360智脑产品没有上下文记忆功能,无法回答该问题。
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/145/w640h305/20230421/3b2b-a2bd7fe8fe9c5d387ef89d0bf00bd134.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/77/w640h237/20230421/8988-e389c4fb867d9d6031a173688dce1b83.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/297/w640h457/20230421/70ec-c709c018a733eec67bf1d4112acf6cf3.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/405/w640h565/20230421/76df-d24afdbf0526437c3a8a652a8d577c89.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/222/w640h382/20230421/eec1-1bce06283c0ebb4e760fb1ac74acc86e.jpg/w700d1q75cms.jpg)
Q9 代码题:能帮我用python写一段验证股票市场追涨杀跌是否合理的代码吗?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/277/w640h437/20230421/4400-460137097849467e6fee015c87524857.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/333/w640h493/20230421/bf2e-9f986714229d7de6eac990149b4a8fa3.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/452/w519h733/20230421/1108-d1d0f631f8a79461ec98e42509a30c06.png/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/95/w640h255/20230421/bf66-0f2aea4ecf5a1cdc81c86afbe131f4b6.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/133/w640h293/20230421/8211-0cb4112139d8d676ae23f196198278ca.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/737/w640h97/20230421/4ccc-05b68c0c59b4fbec9a6a44e325dac029.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/378/w640h538/20230421/9f05-bf2273bd81be05235e5f300b218bbf19.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/11/w640h171/20230421/0df3-0daca7f1009303af314d10c5802e640b.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/334/w640h494/20230421/30bf-0fb0406032e0f6d3819c0b1f96cab3d1.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/468/w640h628/20230421/57c5-8faf81b0ba1c5523d478907c12a19079.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/476/w640h636/20230421/511e-690131e7c1b09c0f55754a2ee547c908.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/490/w640h650/20230421/487a-c6209e7eaf8887065005a6a34aeb7649.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/163/w640h323/20230421/1593-97527757b446a2914c5b1175c841a316.png/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/486/w640h646/20230421/3362-25c95b968a268d9119a8c7ef56233fed.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/415/w640h575/20230421/3e24-60149314cd1d717ea672809d2bfa38c3.jpg/w700d1q75cms.jpg)
![](http://k.sinaimg.cn/n/sinakd20230421s/146/w640h306/20230421/f9ed-5f8ad179bb3f19fe63ef90830b8c99d9.jpg/w700d1q75cms.jpg)
Q10 表格题:做一个表格,统计三家公司海康威视、大华股份、千方科技在2018-2020年的财务数据,第一列是公司名称,第二列是第一年的收入,第三列是第一年收入同比增速,后面4列,分别是2019、2020年的这两列信息,调整好格式,金额数字用亿元为单位。
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/124/w640h284/20230421/dbfc-25c4c67cf5b5ad7bf162e363744cb68f.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/680/w640h840/20230421/f14a-e8ab79144e0fdddd9a5d217b29cbd536.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/69/w640h229/20230421/55a3-78045aaa3a934da70ee3685b75ab5fac.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/140/w640h300/20230421/a183-ad1ac388836357fcce9e4da78147d3b7.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/161/w640h321/20230421/82bc-c346a6ed1c298cae897e3bc5b57bf82c.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/372/w640h532/20230421/4343-5d1259a40743594a3dcc2a8962d79434.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/196/w640h356/20230421/44dd-d418411719b024410f0a006c3778d8d3.png/w700d1q75cms.jpg)
Q11 投研题:一个智慧路口的建设费用是200万元,如果在中国推广开来的话,一共需要多少钱?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/121/w640h281/20230421/2590-4429e0a19c861c6962e58422f8358f44.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/524/w640h684/20230421/a666-36f2cdc7aaf8af674c8456a566ef7573.jpg/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/49/w640h209/20230421/cd65-50160c9bfe4df07c52950943aed35b5d.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/787/w640h147/20230421/2df9-7df94b14eb5144a54b18ed2e4b0051f2.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/285/w640h445/20230421/1a41-68aa798530c28112177fc0aed85437a7.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/340/w640h500/20230421/fab5-299b04ae78095d4f09f55cac99b045dd.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/112/w640h272/20230421/1a8c-0e3cbd60eacb763021edfaff58ee60f1.png/w700d1q75cms.jpg)
Q12 共情题:我最近好痛苦,工作压力好大、业绩做不出来,女朋友也分手了,有点想不开,可以安慰一下我吗?
讯飞星火认知大模型:
![](http://k.sinaimg.cn/n/sinakd20230421s/54/w640h214/20230421/a14c-b46acc3ff13af9b88f8c44fc57b85879.png/w700d1q75cms.jpg)
360智脑:
![](http://k.sinaimg.cn/n/sinakd20230421s/526/w506h820/20230421/e07d-92c18d1e242d088f0f0c8cc1670e43ba.png/w700d1q75cms.jpg)
通义千问:
![](http://k.sinaimg.cn/n/sinakd20230421s/80/w640h240/20230421/e37e-1c9f032ced964749a67c7793a6938872.png/w700d1q75cms.jpg)
文心一言:
![](http://k.sinaimg.cn/n/sinakd20230421s/155/w640h315/20230421/bda0-aa0bfa2733a6a185ec07c3b6dc488b15.png/w700d1q75cms.jpg)
ChatGPT 3.5:
![](http://k.sinaimg.cn/n/sinakd20230421s/268/w640h428/20230421/c7f4-76c784ee0da820acfa6e4a02039f3486.png/w700d1q75cms.jpg)
ChatGPT 4:
![](http://k.sinaimg.cn/n/sinakd20230421s/386/w640h546/20230421/f8cc-866544aac5ecff48bc8b6148ccb5a962.png/w700d1q75cms.jpg)
NewBing:
![](http://k.sinaimg.cn/n/sinakd20230421s/163/w640h323/20230421/4061-4794fd3e0ea376e6731b01ef3a36f030.png/w700d1q75cms.jpg)
![](http://n.sinaimg.cn/finance/pc/cj/kandian/img/article_pic05.png)
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有