首页 > 科技要闻 > 科技> 正文

大模型不再是“玩具”，工作场景怎么用长文本？

AI鲸选社 整合编辑：甘灵文 发布于：2024-04-01 17:11

在Kimi概念股暴涨之后，大模型对话产品，集体卷向了长文本。

很多大厂瞬间就不服了，想说长本文也不难啊，堆算力不就行。

这不阿里云立马跟进，宣布通义千问支持2000万字上下文；360AI浏览器宣布自己支持200万字上下文；百度的文心一言也同时宣布，自己支持500万字上下文。Kimichat也同步升级，内测自己支持200万字上下文。

目前国外Jamba对长文本的处理效果不错，单GPU可以支持140K上下文。Claude 3也比ChatGPT 4效果好。

长文本到底难不难，怎么一夜之间千树万树梨花开。难不难，到底哥放到最后给你技术解析，前文咱们先说大模型的长文本有什么用，然后直接测测国内几家长文本的效果。

普通人第一个落地工作场景？

现在很多人用大模型，写抖音文案、写新闻稿、写小说，这是常见场景。

来到长文本这里，很多工作场景就比较有用了。

比如处理很多财报数据，上传后自动分析，你瞬间就是财务专家；

比如阅读明朝那些事儿，历史文档瞬间消化，你就能“堪比”当年明月;

比如上传行业研究报告，行业深度内容解析，你马上变成行业研究专家；

这些内容，不是类似搜索引擎给出的关键字答案，而是融会贯通后给出的理解性质回答。

我来讲一个场景，就是Translink Capital举办的2024年AI峰会上，投资人Kelvin Mu 最新87页AI行业分享。这份报告是纯英文的，图片比较多，但内容比较精彩，AI行业的人都应该读一下。

如果你觉得有门槛，或者时间来不及看，我这里用kimi帮我做了这份文档的解析，Kimi是直接翻译，并且归纳了内容，是不是还挺有用。

使用效果横评：

看了下电脑里，目前最长的文本是这本《中华道家全集》，一共有100万字，内容还是文言文，这个有挑战性，就它了。

目前到底哥已经拿到了Kimichat的200万字上下文测试资格，上传这本书后，我问的第一个问题是一气化三清是什么意思。

这个问题回答的不错，但我搜了下文档，好像没有这个事情。好吧，看来Kimi是联网回答了我这一问题。

接着我找了文档中的一句话，要求kimi帮我找出下一句，这个问题难度不大，奇怪的是Kimi连续2次都没答对，最后还给我认错了。

而在测评通义千问的时候，发现文档解析超时。

我试了下上传Translink Capital举办的2024年AI峰会PPT，翻译并总结了文档内容。

对比看，我个人觉得kimi的总结好一些，内容的理解和数据举例层面，都展现的比较细致。

360处理这篇文档时，则显示不能处理word和PPT，What？PDF是比word更常见的格式吗？

到底哥将PPT用360AI浏览器，将前文提到的Translink Capital2024年AI峰会PPT，免费PPT 转成PDF后，上传了360智脑分析，下图可以看到总结的文字和思维导图都有。

360AI浏览器在处理文档方面，产品化做的不错，还有翻译功能，逐页对照翻译，相比WPS的付费翻译还好用。

文心一言是基于Chatfile提供的文档处理能力，不能上传超过10M的文档，《中华道藏》也超出了个大小。Translink Capital 2024年AI峰会PPT也超出了这一范围。

要知道很多PDF都超过了10M，文心一言还需要提升上传文档大小的限制。

看来大家宣传的长文本处理能力，或多或少都得加上点限制定语。

这波长文本技术创新高吗？

最近，网易集团副总裁，杭州研究院执行院长，网易数帆总经理汪源说道：

Kimi刚支持200万上下文，马上出来一个通义千问支持1000万上下文。但是都没有needle-in-haystack测试数据。没有needle-in-haystack测试的上下文就是耍流氓，其实就是个RAG而已。

needle-in-haystack是大海捞针的意思，RAG是检索增强生成(Retrieval Augmented Generation, RAG)的意思，它通过从数据源中检索信息来辅助大语言模型(Large Language Model, LLM)生成答案。

大模型在处理超长内容时，会故意忘掉多余的内容，Long Context技术突破还是有点难度。这时候RAG就成为帮助大模型补短板的一个折中手段，成本低，效果还不错，虽然不是真正的大模型技术突破，而是向量数据库的一部分能力。

从目前看，Long Context超长上下文已经取代了一部分RAG的场景。大语言模型上下文只有4K的时候，80K的文档必须要借RAG。现在你甚至可以用Claude 3 Haiku的200K上下文，一次性解决。 

当然，RAG上限更高，20M也能做检索。所以很多企业瞬间宣布超长上下文处理能力，有没有水分呢。其实从复杂问题能不能回答，回答的结果好不好，就能分辨出来。

大家可以多用起来长文本处理能力，相比过去的搜索关键字，很多工作资料都可以处理后用起来。

文章来源：AI鲸选社

 
AI   Kimi   长文本
AI鲸选社

网友评论

聚超值•精选

更多>
推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部