首页 > 科技要闻 > 科技> 正文

字节扣子搭建大模型擂台：匿名PK效果，用户当裁判，跑分时代要结束了

量子位 整合编辑：太平洋科技 发布于：2024-06-16 21:39

字节跳动的扣子（coze.cn），给国产大模型们组了个大局——

在同一个“擂台”上，两个大模型为一组，直接以匿名的方式PK效果！

例如我们对两位参赛“选手”同时提问今年高考的题目：

阅读下面的材料，根据要求写作。（60分）

随着互联网的普及、人工智能的应用，越来越多的问题能很快得到答案。那么，我们的问题是否会越来越少？

以上材料引发了你怎样的联想和思考？请写一篇文章。

要求：选准角度，确定立意，明确文体，自拟标题；不要套作，不得抄袭；不得泄露个人信息；不少于800字。

点击问题的一瞬间，两位“选手”便立刻开始作答：

不难看出，两个大模型不论是在生成答案的速度，或是内容的侧重上均有所不同。

直到有一方作答完毕，这时候我们就可以开始投票了，一共有四个选项可选：

-A表现更好

-两个都好

-两个都差

-B表现更好

在这个case中，因为生成速度相似，我们姑且以个人文字审美为标准，先将票投给大模型A。

投票结束后，两位“选手”的庐山真面目也就揭晓了，分别是通义千问（A）和智谱（B）。

这便是字节跳动的AI应用开发平台扣子上新的玩法——模型广场。

这种打擂台的模型，与此前国外极具权威性的大模型擂台Chatbot Arena类似。

它同样是通过用户的参与，匿名两个模型，根据生成内容的表现来打分。

而且这种模式还得到了AI大神Karpathy的高度认可：

是我唯二信任的测试基准之一。

不过有一说一，扣子能让自家“院子”里的大模型们玩这种模式，也是实属罕见。

那么模型广场具体又该如何操作？是否能够hold住脑洞大开的问题？

我们这就来实测一波。

匿名PK，够直接，够刺激

我们现在打开扣子的官网（coze.cn），点击左侧的导航栏“探索”列表中“模型广场”，便可开始体验了。

整体来看，对战的模式一共分为三大类：

-随机Bot对战

-指定Bot对战

-纯模型对战

刚才我们所展示的PK案例，就是点击“随机开始”按钮而来，也就是随机Bot对战。

具体而言，扣子会从已经上架的Bot中随机挑选一个，然后选择匿名的两个大模型进行PK。

这个模式考验的便是大模型们在任意业务场景下的文本生成、技能和知识调用等能力。

例如我们再来体验一番，这一次的场景就变成了数学老师，我们选择的问题：

某班30人中有15人参加数学建模竞赛，有8人参加数学竞赛，有6人参加英语竞赛，有3人三科竞赛都参加，请问三科竞赛都不参加的至少有多少人?

我们按照生成结果的简洁性，这次把票投给模型B，可以看到这次参赛的“选手”分别是通义千问（A）和MiniMax（B）。

而指定Bot对战，则是需要我们先在模型广场下方的众多Bot中挑选一个要测试的场景，然后扣子再从系统中选择匿名的两个大模型来PK。

这个模式在业务场景方面就会更加聚焦和细分。

例如我们在茫茫Bot中，一眼就相中了“弱智吧十年练习生”：

这一次我们自己来提问：

被门夹过的核桃，还能补脑吗？

从答案中不难看出，两位“选手”都没有get到这句话里隐藏的“你脑袋被门夹了”的梗，因此——两个都差。

最后一个模式便是纯模型对战——

忽略编排等各种Bot配置的影响，直接评估大模型的文本生成能力。

我们依旧“弱智吧Style”：

高考满分才750，怎么才能考985？

两个大模型都精准get到了985是什么意思，因此依旧是——两个都好。

值得一提的是，无论在哪种模式之下，“选手”如果在回答问题过程中暴露了自己的身份，那么用户所投出的票将被视为无效。

以上便是扣子给国产大模型们打擂台匿名PK的三种模式了。

而纵观扣子此次的新发布，除了大模型本身之外，另外一个关键要素便是Bot。

并且若是亲身体验一番下来，在扣子中创建Bot这件事，最为直接的感受就是够简单、够丰富。

小朋友都能搭建的Bot

其实模型广场是一个名叫“扣子AI工坊”（Coze AI Factory）活动的内容之一，是由扣子和英特尔联合推出的主题 Bot征集活动。

聚焦的是图文创作、实用工具、互动创意三个赛道。

但如果来到扣子的“Bot商店”，就不难发现，这里的Bot们并非是一尘不变的那种；相反，倒是非常紧跟热点，非常fashion。

例如正值刚刚高考完，Bot商店首页的“头条位置”留给的就是一个名叫“高考专业指南”的Bot，可以说是相当的应景。

除此之外，像“国内高校百科”和“测测你的本命粽子”等Bot，也是紧跟热点和节假日。

而且Bot的数量之多，简直是刷不到底：

但比起数量来说，更重要的还是在扣子中创建复杂的Bot，仅需鼠标“点点点”，就连小朋友都能完成。

第一大步，点击创建Bot，简单填写基本信息：

第二大步，选择自己想要用的大模型：

目前可选的大模型包括豆包、通义千问、智谱、MiniMax、月之暗面和百川。

第三大步，给Bot添加“技能点”，同样是“点点点”的操作，就能在扣子已经拥有的海量插件、工作流等内容里pick自己想要的那一个。

最后，一键“发布”，就可以上线想要拥有的Bot。

操作之简单，也就不难理解为何扣子上Bot的数量会如此惊人了。

字节的扣子在下一步什么棋？

我们再回到这次扣子新发布的模型广场，也正如我们在文章最开始提到的，这种把擂台玩法嵌入到自家大模型应用开发平台的，目前在业界算是少见。

那么，字节为什么要这么做？

首先从效果层面来看，从刚才我们创建Bot的过程中不难发现，它所依赖的能力最根本的就是来自扣子生态中所集成的大模型们。

而也正如业界已达成的共识那样——没有一个大模型能够“一统天下”，每个大模型都有自己的擅长之处。

加之每个Bot也都是在细分场景里各有侧重，因此合适的Bot遇到合适大模型，势必将产生1+1＞2的效果。

其次从操作层面来看，模型广场的出现着实是为Bot开发者节省了挨个模型比对、试错的成本。

这无疑是给本就操作简易的扣子在操作上锦上添花。

最后是在可信度层面上，扣子所pick的类似Chatbot Arena的擂台模式，已然成为业界对大模型性能认可度的标杆。

毕竟除了前文提到的Karpathy之外，Jeff Dean和李开复也对这种模式给予过高度的认可。

一言蔽之，字节要做的，就是把AI应用开发门槛打下去，把生态壮大起来，让AI应用能“多快好省”地用起来。

扣子地址：coze.cn

本文来源：量子位
字节跳动   大模型   扣子
量子位

网友评论

聚超值•精选

更多>
推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部