产品介绍
Not Diamond是一个根据你的输入内容,自动化帮你选择最佳回复模型的“ LLM 路由器”,在合适的问题上选择合适的模型,并持续优化你的LLM使用成本。
提供了全套优化调整“ LLM 模型路由器”的能力,允许你自定义调整路由规则。
这是一个面向开发者的工具。
他为普通用户提供每月免费10万次使用额度的AI聊天界面...没听错,你可以免费输入10万次,得到10万次回答,并且使用的是GPT-4o、Claude 3 Opus、Gemini 1.5 Pro、Perplexity、等等...此类昂贵的大模型。
原理
Not Diamond 会为每条消息自动推荐最佳的 AI 模型,并根据您的反馈实时学习。
👍/👎 当您对回复点赞或点踩时,Not Diamond 会立即了解模型对您的提示是否表现良好,并使用您的反馈来改进未来的推荐。要查看实际效果,您可以尝试点踩一个回复并再次提出相同的问题。
✨ 您还可以点击闪光图标,使用不同的模型重新生成此回复,以比较它会如何回答。
📊 Not Diamond 可 100%免费使用。然而,每个 LLM 回复都会向您显示响应延迟和成本的指标,以便您比较差异。
⚔️ 您可以随时开启竞技场模式,以在直接竞争中比较模型。
⚙️ 您可以通过点击设置选项卡选择和取消选择特定的 LLM 作为选项。
✏️ 您可以编辑系统提示,以改进 Not Diamond 对您问题的响应。
📄 要了解更多关于 Not Diamond 如何运作或将模型路由集成到您自己的应用程序中,您可以点击代码文档图标。
就是这样!要开始,请尝试发送一些消息并观察它们被路由到正确的模型。别忘了提供反馈,以便 Not Diamond 能够根据您的偏好个性化路由。
功能特点
训练自己的路由器
你可以用不到五分钟就上手 Not Diamond 的基础路由器。如果你有自己的评估数据,Not Diamond 允许你训练针对你用例优化的自定义路由器。
令人叹为观止的速度
在处理一个tokens的时间内,帮你选择出最佳模型。
智能平衡质量与成本
高效利用更快、更便宜的模型,而不会降低质量。
联合提示优化支持
为每个LLM编程最佳提示,确保始终使用正确的模型和提示。无需手动调整和实验。
聊天界面
选择模型
选择回答问题的模型,勾选竞技模式,将从模型中选择两个进行答案对比
对比答案
并行回答,因为选择竞技模式,所以输出答案默认隐藏模型,选择答案后显示对应模型型号
使用额度
输入3个问题,每次调用两个大模型回答问题,占用3次额度,占用每月额度的十万分之三。