模型缓存

模型缓存是一项创新功能，旨在提高系统效率并降低成本。通过缓存相同请求的结果，我们可以显著减少重复请求的数量，从而优化资源使用。

主要特点

1. 请求缓存: 对于相同的请求参数，系统将直接返回之前缓存的结果。

2. 降低成本: 命中缓存的请求不会重新计费，有效减少API调用成本。

3. 灵活配置: 管理员可以自定义缓存设置，包括：

   • 选择需要缓存的特定模型
   • 设置缓存的有效时间
   • 配置每个模型的缓存结果数量

工作原理

1. 系统接收到模型请求时，会计算请求参数的唯一Hash值。
2. 检查是否存在与该Hash值匹配的缓存结果。
3. 如果找到匹配的缓存：
   • 直接返回缓存的结果
   • 不进行新的API调用
   • 不计入用户的使用配额或计费
4. 如果没有匹配的缓存：
   • 正常处理请求并返回结果
   • 将结果存入缓存系统，以备后续使用

模型缓存功能是一项重要的系统优化措施，其详细原理说明已在文档的渠道设置部分进行了全面阐述。为避免重复，本节不再对其进行详细介绍。

配置说明

管理员可以在后台设置中配置模型缓存的相关参数：

1. 启用/禁用缓存: 可以针对特定模型开启或关闭缓存功能。
2. 缓存时间: 设置缓存结果的有效期，超过这个时间的缓存将被视为失效。
3. 最大缓存结果数量: 设置每个模型可缓存的最大结果数量，以平衡系统资源使用和结果多样性。这有助于避免多次参数相同的请求总是返回相同结果。
4. 可缓存模型: 选择哪些模型支持缓存，哪些模型不开启缓存。

使用建议

• 对于经常收到相似请求的模型，建议开启缓存以提高效率。
• 对于需要实时更新或高度个性化的场景，可以考虑关闭缓存或设置较短的缓存时间。
• 定期review缓存使用情况，根据实际需求调整缓存策略。

通过合理配置和使用模型缓存，您可以显著提升系统响应速度，同时有效控制API调用成本。