当地时间2月24日，Meta官网公布了一款新的人工智能大型语言模型LLaMA，从参数规模来看，Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型，并用20种语言进行训练。
Meta首席执行官马克·扎克伯格表示，LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。
怎么理解人工智能大型语言模型的参数？
据悉，AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。Open AI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的，参数量达1750亿，谷歌推出的Bard使用的是轻量级LaMDA模型，相比标准版本，轻量化版本模型所需要的运算能力较小，能面向更多使用者开放，使其参与体验，有报道指出LaMDA模型参数量在1370亿。百度文心大模型参数量达到2600亿，阿里则表示，从过往实践来看，其具备支撑超万亿参数大模型研发的技术实力。
Meta此次推出的大模型实力如何呢？
Meta首席AI科学家杨立昆(Yann LeCun)表示，在一些基准测试中，LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT3，且能跑在单个GPU上；650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。
法新社称，按照Meta的表述，LLaMA是一套“更小、性能更好”的模型，且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算，LLaMA是基于公开资料进行训练。
Meta在官网表示，在大型语言模型中，像LLaMA这样的小型基础模型是可取的，因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练，这使得它们非常适合于各种任务的微调。与其他大型语言模型一样，LLaMA的工作原理是将一系列单词作为输入，并预测下一个单词以递归生成文本。
Meta称将致力于这种开源模型的研究，新模型会开源给整个AI研究社区使用，并授予大学、非政府组织和行业实验室访问权限。另外，Meta表示其还有更多研究需要做，以解决大型语言模型中的偏见、有害评论等风险。
Meta披露的2022年第四季度财报显示，该公司已连续第三个季度出现营收同比下滑，四季度营收312.54亿美元，同比下降4%。广告为Meta的支柱业务，为第四季度的总营收贡献超97%，报告期内，尽管广告展现量增长了23%，但单位广告价格下滑了22%。
截至美东时间2月24日，Meta股价跌0.96%报170.390美元/股，总市值4418亿美元。 【编辑:石睿】
年轻人偏爱“定制打印门”：让门变成一道风景
专访联合国粮农组织：中国为全球粮食安全做了什么？
香港输入人才计划入境许可须申报有无刑事定罪记录
海百合如何见证史前生物从巅峰到灭绝？
水洞沟为何被称为国际史前研究的“璀璨明珠”？
将创新刻进基因里！看深圳如何修炼高质量发展“内功”
世预赛两连胜收官 这支中国男篮变化有多大？
“刘三姐”黄婉秋病重 影迷上千件藏品忆往事
特朗普访俄亥俄，被自家侄女抨击：他给居民送“毒水”
两会前瞻：应对挑战，两岸关系为何强调“融”？
人民币对美元月内贬值1450个基点 未来走势会如何？
浙江古稀老人的非遗技艺：蛋壳上画出“大千世界”
宫崎骏要被AI取代了？你追的番可能不再是人画的
文旅局长频频变装“出圈” 文旅如何“长红”引关注
述评：向前看，香港正迎来黄金机遇
“天宫”建成，中国人的千年“登月梦”还远吗？
三问国家太空实验室：为何建？研究啥？有何用？
2月27日起，澳门户外不再要求佩戴口罩
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。
本文地址：http://www.shanxidayuan.com/zcjh/caijing/61483.html
