如何有效地在生成式AI LLM提示中使用Json数据

目录

• 1. Json数据的问题
• 2. 改进Json数据的方法
• 3. 使用Transformations进行Json转换
• 4. 优化Json数据的效果
• 5. 节省成本的重要性
• 6. 结论
• 7. 常见问题解答

1. Json数据的问题

在llm提示中，对Json数据的使用不当会导致成本增加和结果不准确。这个视频将讨论如何为Json数据提供更好的结构，以实现成本高效的提示。由于Json格式中JavaScript的普遍使用，我们经常需要从应用程序、服务或脚本中获取Json数据并在大型语言模型提示中使用。然而，往往我们强迫大型语言模型去理解不同的缩写、术语、结构和数据连接，从而使其工作量增加。

2. 改进Json数据的方法

为了获得更好、更贴近自然语言的输入，我们可以通过一些方式来清理和优化Json数据。首先，我们可以解决一些键名缩写或不明确的数据嵌套和结构问题。例如，将键值对结构化得更加直观，而不是像现在这样由键名决定数据连接。

3. 使用Transformations进行Json转换

为了清理和丰富我们的Json数据，在发送给提示模型之前，我们将使用一个名为jsonnet的项目来完成模板化和高级转换。这将帮助我们清理和丰富Json数据，并使其更符合预期的自然语言友好性。

在本次录制时，生成AI Studio由谷歌的Palm 2 AI驱动。让我们进入谷歌云控制台，进行相关的设置。我们将转到vertex AI服务的文本提示部分，查看窗口，以便在Json数据上进行实验。接下来，我们将在Cloud Shell IDE中进行Json转换。

4. 优化Json数据的效果

为了获得更自然、更符合自然语言结构的Json数据输入，让我们对原始数据进行一些改进。首先，我们可以突出显示文章的标题，并删除一些不必要的数据，比如文章的数字ID。这样做不仅可以提高大型语言模型的解析效果，还可以减少成本，因为这些模型通常以字符或令牌为基础的定价。

另外，我们可以添加作者的信息，包括传记和社交媒体链接。在这里，我们故意使用非大写的单词和无空格的键名，以保持事情的简单性，同时也能反映自然语言结构的优雅。

让我们通过在顶部的input.json文件中放置原始数据并添加一个问题，来给我们提供一个基准。在这个例子中，我们要根据以下博客文章元数据编写一个虚构的作者传记，并包含至少两篇文章例子。

5. 节省成本的重要性

通过对Json数据进行优化，我们可以明显降低使用提示模型所需的成本。以字符计算，根据vertex AI的定价，输入Json的字符数约为1500，这意味着每个llm调用的成本约为0.08美分。而经过我们优化后的输出Json字符数减少了近50%，意味着您的成本将减少近50%。

假设我们每月使用1000万个提示时，成本差异将约为4200美元与7800美元。如此明显的成本差异将节省大量开支。

6. 结论

通过改进和优化Json数据，我们可以提高大型语言模型的效果，并降低使用提示模型所需的成本。通过使用Transformations进行Json转换，我们可以将数据清理和丰富步骤自动化，提供更自然、更容易理解的输入。谢谢观看，如有任何问题，请在评论区留言。

7. 常见问题解答

Q: 使用Json格式的优势是什么？ A: Json格式在Web开发中非常常见，其具有易读、易解析和易扩展的优势，使其成为数据交换的理想选择。

Q: 除了使用Transformations，有没有其他方法来改进Json数据的结构？ A: 是的，您还可以手动处理Json数据，使用各种编程语言和库进行清理、重构和优化。