gpt-4 plugins插件的介绍与使用-爱代码爱编程
OpenAI公司近期给ChatGPT PLUS用户推送了广受期待的插件(plugin)的功能,本文为对于各插件的功能进行总结,包括OpenAI自主托管的两款插件(网页浏览器web browser与代码解释器code interpreter)和一些第三方插件。
ChatGPT PLUS用户可以在GPT-4 Default / GPT-4 Browsing / GPT-4 Plugins 中选择一个进行使用。其中,GPT-4 Default为原GPT-4模型,GPT-4 Browsing为具备联网功能的GPT-4模型,而GPT-4 Plugins为有更多第三方插件的模型。
1. GPT-4 Browsing模型
笔者写作本文的日期是2023年5月17日,天气预报今天有大雨,因此在计划旅行时需要考虑天气情况,使用以下Prompt:
请根据今天上海的天气,安排和女朋友一起游玩的计划。
GPT-4 Browsing模型轻松查找到了天气状况,并安排了没有室外活动的一日游:
2. GPT-4 Plugins模型分类介绍
下图为OpenAI官网列举的部分插件,其中插件数量还在不断增长。可以看出,部分插件调用了一些商业网站的内部检索数据,例如Spotify、Trip等商业公司开发的插件。
用户每一组对话可以使用三个不同的Plugins,在New Chat中选定Plugins后,一系列的与GPT-4的对话都将分别使用选定的Plugins进行分析。如果想使用其他的Plugins,需要新建另一个New Chat。
各插件宣传页介绍如下,笔者简单分成了几类:
a)增强网页搜索类插件
- DEV Community: 用于从 DEV 社区推荐文章或用户的插件。
- Metaphor: 访问互联网上最高质量的内容。由神经搜索提供支持。
- KeyMate.AI Search: 使用带有 AI 驱动的 Web 搜索引擎 。
- edX: 查找一流大学的课程和内容,以扩展您在任何级别的知识。
- World News: 总结新闻标题。可以从世界各地的各种来源询问最新消息。
b)AI算法检索类插件
-
There's An AI For That: 从全球最大的 AI 工具数据库中查找适合任何用例的 AI 工具。
- ScholarAI: 通过触手可及的快速、可靠和同行评审的数据释放科学知识的力量。
c)文件链接阅读类插件
- Link Reader: 阅读各种链接的内容,如网页,PDF,PPT,图像,Word和其他文档。
- ChatWithPDF: 只需提供 PDF URL 即可提出问题、分析和解析 PDF 文档的插件
- AskYourPDF: 释放 PDF 的强大功能!深入了解您的文档,查找答案,并将信息带到您的指尖。
- WebPilot: 浏览和QA网页/从一个或多个URL生成文章.
d) 商业金融与投资顾问类插件
- Public: 获取实时和历史市场数据,包括资产价格、新闻、研究和全面的财务分析。
- BizToc: 在BizToc上搜索商业和金融新闻。
- AITickerChat: 从 SEC 文件以及收益电话会议记录中检索美国股票见解。
- PortfolioPilot: 人工智能投资指南:投资组合评估、建议、所有财务问题的答案。
- Options Pro: 期权专业版是您的个人期权交易助手,可帮助您了解市场状况。
- Savvy Trader AI: 实时股票、加密货币和其他投资数据。
- Redfin: 对房地产市场有疑问?找到帮助您在当今市场中取胜的答案。
e) 生活饮食、出行、住房、购物类插件
- Trip.com: 探索终极旅行伴侣 - 简化您的航班和酒店预订。享受您的轻松旅行!
- Tasty Recipes: 从Tasty的数百万用户那里发现食谱创意,膳食计划和烹饪技巧!
- Bohita: 使用您可以描述的任何图像创建服装!
- Weather Report Data: 使用 METAR 航空馈送的城市和机场的当前天气数据。
- OwlJourney提供住宿和活动建议,确保旅程引人入胜且用户友好。
- GetYourGuide: 查找您可以在GetYourGuide上预订的旅游,短途旅行和其他旅行活动。
- Lexi Shopper: 从您当地的亚马逊商城获取商品推荐。
- Shimmer: Nutrition: 跟踪膳食并从1M+餐厅和杂货店获得更健康生活方式的见解。
f)游戏、音乐、娱乐类插件
- Chess: 通过这种互动国际象棋体验释放您内心的国际象棋大师!您可以与新手或宗师对战!
- PlaylistAI: 为prompt创建Spotify歌单。
- Algorithma: 在这个身临其境的生活模拟器游戏中塑造你的虚拟生活。
- Crafty Clues: 猜猜AI狡猾地为你提供线索的单词。添加限制,让游戏更有趣!
- Keyplays Live So: 最新的足球直播排名、结果、评论。
- Likewise: 您的媒体和娱乐伴侣。获取电视、电影、图书和播客推荐。
- MixerBox OnePlayer: 各种类型的无限音乐、播客和视频。享受我们丰富的播放列表的无尽聆听!
- Polarr: 搜索 Polarr 的大量用户生成的过滤器,使您的照片和视频完美无缺。
3. GPT-4 Plugins在不同应用场景中的使用表现
下面将分为网页搜索、AI算法类、文件阅读与分析、生活与出行相关Plugins等四个场景,使用不同的Plugins组合。由于Plugins接入的网站大多为英文网站,因此如果使用中文Prompt可能会报错。
1)网页搜索类,选择Metaphor、KeyMate.AI Search、DEV Community等插件,最近对于自由潜和水肺比较感兴趣,因此使用以下Prompt试用:
How to improve the level of freediving?如何提高自由潜的水平?
首先, GPT-4做出了回答:
接着调用了Metaphor进行检索,但似乎KeyMate.AI Search 和DEV Community两个插件没有响应。
2)AI算法类,选择There's An AI For That、ScholarAI等插件,使用以下Prompt试用:
How to introduce GAN algorithms in reinforcement learning? 如何将GAN算法引入强化学习中?
对于这个问题首先由GPT-4回答了一个段落:
并在第二轮交流中调用了Plugins进行搜索:
回答中所给链接已经失效,但是回答的还是非常全面的。
3)文件阅读与分析类,选择ChatWithPDF、AskYourPDF、WebPilot等插件,使用以下Prompt试用,链接所给文章为著名的Attention Is All You Need:
Please try to interpret the main points of the paper from the following link: https://arxiv.org/pdf/1706.03762.pdf. 请尝试归纳链接所述论文的要点。
使用以上三个插件分析PDF后获得的回答如下图,还是比较凝练准确的:
4)生活类,选择Trip.com、OwlJourney、MixerBox OnePlayer等插件,使用以下Prompt试用:
I'm traveling to Ottawa, Canada in August, what are the best places to see and stay in? What music can be recommended to listen to on a long flight?我8月份将前往加拿大渥太华市,有什么景点和住宿的酒店推荐的?有什么音乐可以推荐在长途飞行中聆听?
首先由GPT-4推荐了几个当地的景点。
又调用第三方Plugins推荐了歌曲:
我继续询问:
I wanted to live in a quiet location and not too far from Capitol Hill. 我想居住于安静的地点,并且离国会山不要太远。
调用插件给出的回答如下:
可以发现,GPT-4 Plugins是在第二次对话及之后自动调用Plugins以检索信息,Plugins成为了网络检索与GPT模型之间的桥梁,并且会特别检索每个Plugins领域内的相关网站,在结果中给出相应信息的链接。虽然链接可能会失效,但大部分Plugins推荐的网页链接是可以打开的。
4. 总结
GPT-4 Plugins着重提升了网页链接的检索与分析能力。虽然GPT-4语言模型在许多任务上表现良好,但GPT-4由于数据集限制只能学习到训练数据中可能过时的信息,并且只能生成文本。Plugins可以被看作是语言模型的“眼睛和耳朵”,让GPT模型获取最新的、个性化的信息,并按用户的请求执行特定的操作,在GPT模型训练的非最新的数据库上引入新的资料,从而极大提高了日常生活中的可用性。OpenAI已在ChatGPT中初步支持插件,开发者也可以自行根据开发文档为ChatGPT构建插件。
总结使用GPT-4 Plugins下来的整体感觉,确实极大地提升了即时信息的检索能力,具备广阔的扩展性,体现了OpenAI希望成为AI基础系统的野心。