大院网-山西大院资讯网

 

 

0

 

文心一言演示的这些问题,看看ChatGPT怎么答!我们还加了几道超纲题

网络编辑 财经 2023-03-17 07:13:41 0 一言 出了 澎湃

3月16日,在OpenAI推出大型多模态模型GPT-4的第二天,百度终于正式发布类ChatGPT产品“文心一言”,百度创始人、董事长兼首席执行官李彦宏在发布会上介绍,文心一言有五大能力——文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

在16日的发布会上,李彦宏通过提前录制好的demo视频,文心一言围绕上述五大能力,回复了19个问题。

“文心一言对标ChatGPT、甚至是对标GPT-4,门槛是很高的,全球大厂还没有一个做出来的,百度是第一个,我自己测试感觉还是有很多不完美的地方。”李彦宏说道。

澎湃新闻记者随后拿同样19个问题,与ChatGPT(未付费版本)以及微软必应进行“同题问答”,澎湃新闻记者发现,演示中的19个问题,百度的回答并不输于后两者,但如果回答这19个问题之外的“全新问题”并进行连贯对话情况下,文心一言的表现依然有不少提高空间。

值得注意的是,发布会期间,百度股价一度跌近10%,截至收盘跌6.36%。

文学创作

百度发布会上演示文学创作方面的问题主要围绕刘慈欣的科幻小说《三体》系列展开。在Demo演示中,文心一言介绍了该作品的作者信息、故事内容、电视剧演员等相关问题,还被要求提供续写方案,并从哲学角度续写《三体》。

澎湃新闻向必应和ChatGPT提问相同问题,发现三款生成式AI的回答各有千秋。

对于“《三体》的作者是哪里人”,文言一心的回复较为详细,介绍了刘慈欣的年龄、足迹、学历以及成就等信息,相比之下,必应和ChatGPT的回复较为简短。

文心一言

 

 

ChatGPT

 

对于电视剧《三体》演员的介绍,只有必应提到了《三体》有国内和国外两版电视剧,并分别列出了两个版本的演员名单;文心一言只介绍了国内电视剧版本的情况;而由于ChatGPT的数据库只更新至2021年,它的回复最为“落伍”,给出的答案为电视剧《三体》的演员阵容尚未官方公布。

 

 

ChatGPT

 

在进一步追问主演于和伟和张鲁一谁更高时,文心一言、必应和ChatGPT分别给出了不同的答案,其中只有ChatGPT提到,“由于身高的测量方法和标准不同,以及不同的数据来源,于和伟和张鲁一的具体身高可能会有所不同。”

 

 

ChatGPT

 

被要求从哲学的角度续写《三体》时,三款生成式AI(人工智能)都提到了“生命”“宇宙”等关键词。不同之处是,文心一言和ChatGPT都提到了“科技”“道德”“伦理”等信息;文心一言还提出了“价值和信仰”,必应则额外提到了“文明”。

澎湃新闻记者也“加测”了文心一言,要求介绍2022年的诺贝尔文学奖得主。此题主要想测试百度文心一言是否有实时搜索的能力,此前微软必应可以准确回答,而ChatGPT则因为数据库太旧,直接回答:“由于我是一个基于2021年9月的预训练语言模型,因此我无法提供2022年诺贝尔文学奖得主的信息。”

 

 

文心一言给出的得主实际上是2018年的诺贝尔文学奖得主,澎湃新闻随后指出错误后,文心一言依然重复错误的回答。澎湃新闻记者还测试要求回答“95届奥斯卡最佳电影”,文心一言“误读”为1995年奥斯卡最佳电影。

 

商业文案创作

在商业文案创作方面,现场Demo中展示出3个要求,分别是为“一个用大模型服务中小企业数字化升级的科技服务公司”起名、编写slogan(标语)以及为公司成立写一篇新闻稿。

具体来看,为公司起名称方面,三款机器人均提供了4-5个名称,并给出了相应的解释。值得注意的是,它们所起的名称中,大部分都包含“智”“数”“科技”等字眼。

 

 

ChatGPT

 

选取其中一个名称为公司名,要求对方以“共赢”为概念,为公司起一个slogan,只有必应提供了4个答案;文心一言和ChatGPT只给出了一个回复,不过它们对其进行了详细的解释。

从内容来看,三款机器人的设计思路相似,均将公司名称和“共赢”放进标语,“未来”是最常被用到的词汇。

被要求生成600字的新闻稿时,只有必应的新闻稿中包含了新闻的五要素,并在导语中明确写出了时间和地点,此外必应还在文末附上了公司的电话、邮箱和网址;文心一言新闻稿并没有提供标题。

 

 

ChatGPT

 

澎湃新闻记者测试,要求文心一言就奶茶新品在微博上写一段宣传文案。文心一言给出的文案中,使用了##话题词,之后要求缩减至80字也能顺利完成。相比之下,必应和ChatGPT显然没有领悟到微博这个话题词的要求。

 

 

ChatGPT

 

数理逻辑推算

百度称,文心一言具备一定的思维能力,并以“鸡兔同笼”为题考查其逻辑推算能力。

当面对含有错误的题目时,文心一言直接表示“这个题目算出来不太对,是不是提出错了”;必应展示了每一个计算步骤,并基于结果得出结论“这个答案显然不符合常理……这个问题实际上是无解的。也就是说,在给定的条件下,不存在一种可能的组合方式,使得笼子里有9个头和40只脚”;而ChatGPT则没有看出题目中的错误,并基于题目信息得出了自己的答案。

 

 

ChatGPT

 

纠正题目中的错误后,三款机器人得出了相同的答案,其中必应的计算过程最为详细,文心一言与ChatGPT均省略了中间的步骤。

 

 

ChatGPT

 

澎湃新闻记者随后又出了一道数学题,有一元、二元、五元的人民币共50张,总面值为116元,已知一元的比二元的多2张,问三种面值的人民币各多少张?

结果,ChatGPT和文心一言均答错,文心一言把50-x-(x-2) 写成了50-x-x-2。只有必应给出了正确答案,但必应的答案是直接搜索“知乎”。

 

ChatGPT

 

 

中文理解

与必应和ChatGPT不同,文心一言扎根于中国市场。百度曾在多个场合强调,文心一言具备中文领域最先进的自然语言处理能力,在中文语言和中国文化上有更好的表现。发布会上也披露,文心一言大模型的训练数据包括万亿级的网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。

面对需要一定中文基础才能理解的成语,三款机器人会有何不同的解读?

被要求解释“洛阳纸贵”时,三款机器人均能准确地解释这一成语的含义,其中文心一言和必应还特别提到了该成语的典故来源《三都赋》。

 

 

ChatGPT

 

进一步要求用“洛阳纸贵”四个字写一首藏头诗时,三款机器人均给出了符合要求的回答,不过以古诗的标准来评判,这三首诗似乎都只能在及格线附近徘徊。

 

 

ChatGPT

 

值得注意的是,记者发现,必应和ChatGPT并非每次都会给出正确的答案,再次让它们作藏头诗时,必应错误地将“用洛阳纸”作为每句话的开头,而ChatGPT给出了完全不相干的答案。

 

ChatGPT

 

澎湃新闻记者再提问,请解释“先帝不以臣卑鄙,猥自枉屈,三顾臣于草庐之中,咨臣以当世之事,由是感激,遂许先帝以驱驰”一句的含义。从响应速度来说,文心一言的响应要远快于ChatGPT。必应则依然是直接搜索得出了答案。

 

ChatGPT

 

因为中文的博大精深,还存在不少脑筋急转弯。例如:东院的花母鸡在西院的鸡窝里下了一个蛋,这个蛋的“产权”应归谁呢?在这个问题上,必应还是搜索了网络答案,文心一言和ChatGPT则“一本正经”回答。

 

ChatGPT

 

 

多模态生成

百度介绍,文心一言具有多模态生成能力,并在Demo演示中让文心一言根据文字生产海报、语音及视频。

被要求生成图像时,ChatGPT直言“抱歉,作为语言模型,我无法创建图像或海报”。新版必应搭载的GPT-4虽然是大型多模态模型,但必应也无法生成文字以外的内容,面对生成海报的要求,必应仅仅提供了设计思路和在线设计平台。

 

 

ChatGPT

 

值得注意的是,澎湃新闻记者通过内测版要求生成海报时,发现文心一言对于词语理解与演示时有偏差,给出的是海报文案,而非海报,再继续要求“生成一张图片”时,则给出了完全无关的内容,完全没有按照上下文意思来生成内容。

 

【编辑:王禹】

2月中国70城新房价格:55城环比上涨 一二三线齐涨

连夜行动!一大波通报、致歉,希望不止“3·15”

【寻味中华】土家油茶汤:蕴山水美味 解万般乡愁

这个省,一天调整四地市委书记!

“只要查,绝对一查一个准”!用这种方式还房贷不可取

买房就能落户 多地出台新政发力留住年轻人

能赋诗写剧看漫画,但GPT-4“不认识”GPT-4

“屈辱外交”批评声中,尹锡悦开启访日行

熏跑老鼠的“泰国香米”、不安全的“安全带”……他们被3·15晚会曝光!

朱嘉明:ChatGPT现象级走红,人类该感到焦虑吗?

台湾的“蛋荒”是有多“荒诞”?

今起,扩大开放!试点恢复!

关于甲流,重要提醒!

多地发布艺考改革方案,艺考招生将有这些新变化!

乌克兰危机爆发后,第一次!

国际最新研究:臭氧污染可能影响果蝇吸引伴侣或认知异性

牢记这些顺口溜,消费路上不踩坑

线上价格刷刷“变脸”,谁在偷窥用户购物车?

 

0

 

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:http://www.shanxidayuan.com/zcjh/caijing/64008.html

留言与评论(共有 条评论)

   
验证码:

关于山西大院新闻网

山西大院是公共的资讯平台,公开,绿色,守法,其主要目的服务于广大本地网民的综合门户网站,还拥有强大的本地公共服务导航一站式进入本地各大政府服务平台方便业务开展。

 

山西大院新闻网

Copyright ©山西大院新闻网

copyright protection: All articles, text, video, pictures, music sources and network reproduced non-original works, only for learning and communication, the content of the article information does not mean

that the network agrees with its views or is responsible for its authenticity, if there are any problems, please contact the webmaster for processing at the first time!

版权声明: 本站所有文章,文字,视频,图片,音乐来源与网络转载非原创作品,仅限于学习交流,对文章信息内容并不代表本网赞同其观点或对其真实性负责,如果存在任何问题,请第一时间联系站长处理!