我一直在为一些大型财富500强公司（如T-Mobile、Twilio等）构建智能应用，并发展出一个作为构建智能应用实用指南的思维模型：将高层次的智能特定逻辑与低层次的平台能力分开。我称之为L-MM：大型语言模型应用的逻辑思维模型。
这个思维模型不仅在构建智能代理时极为有用，还帮助客户思考开发过程——因此，当我完成咨询项目时，他们可以更快地在整个技术栈上推进，使工程师和平台团队能够并行工作而不互相干扰，从而提升生产力。
那么，高层次逻辑与低层次平台工作的区别是什么呢？
**高层次逻辑（代理与任务特定）**
- **工具与环境** - 这些是允许智能代理与外部系统或API交互以执行现实世界任务的特定集成和能力。示例包括：
```
通过OpenTable API预订餐桌
通过Google日历或Microsoft Outlook安排日历事件
从Salesforce等CRM平台检索和更新数据
利用支付网关完成交易
```
- **角色与指令** - 清晰定义代理的角色、责任和明确指令对于可预测和连贯的行为至关重要。这包括：
```
代理的“个性”（例如，专业助手）
关于任务完成的明确界限（“完成标准”）
处理意外输入或情况的行为指南
```
**低层次逻辑（通用平台能力）**
- **路由** - 高效协调多个专业代理之间的任务，确保无缝交接和有效委派：
```
根据任务上下文实施智能负载均衡和动态代理选择
支持重试、故障转移策略和后备机制
```
- **保护措施** - 集中机制以保护交互并确保可靠性和安全性：
```
过滤或调节敏感或有害内容
针对行业特定法规（如GDPR、HIPAA）的实时合规检查
基于阈值的警报和自动纠正措施以防止滥用
```
- **访问大型语言模型** - 提供强大且集中访问多个大型语言模型的能力，确保高可用性和可扩展性：
```
实施带有指数退避的智能重试逻辑
集中速率限制和配额管理以优化使用
透明处理多种大型语言模型后端（如OpenAI、Cohere、本地开源模型等）
```
- **可观察性** - 使用行业标准实践对系统性能和交互进行全面可视化：
```
兼容W3C Trace Context的分布式追踪，以便在请求之间清晰可见
详细的日志记录和指标收集（延迟、吞吐量、错误率、令牌使用）
与Grafana、Prometheus、Datadog和OpenTelemetry等流行可观察性平台的简单集成
```
**为什么这很重要**
通过采用这种结构化的思维模型，团队可以实现明确的关注点分离，改善协作，降低复杂性，加速可扩展、可靠和安全的智能应用的开发。
我正在积极解决这一领域的挑战。如果您正在应对类似问题或有见解可以分享，欢迎进一步讨论——如果大家需要，我也会提供一些关于技术栈的链接。
高层次框架 - [https://openai.github.io/openai-agents-python/](https://openai.github.io/openai-agents-python/)
低层次基础设施 - [https://github.com/katanemo/archgw](https://github.com/katanemo/archgw)
返回首页
最新
我创建了Unstruct.AI，旨在改变我们消费内容的方式。该系统将任何文本转换为互动播客，配有可定制的发言人——没错，您可以在您的内容中“邀请”知名人物。
举个例子：我将OpenAI的GPT-4图像生成博客文章转化为一段4分钟的对话，参与者包括Sam Altman、Gabriel Goh和Prafulla Dhariwal，他们讨论了这项技术，并且每个部分都配有来自原始文章的相关视觉内容。
这个过程只需几秒钟：
1. 上传内容和图片
2. AI生成对话
3. 将视觉内容映射到各个部分
4. 自定义您的“发言人”
5. 分享或嵌入
演示链接在评论中。非常期待您对潜在应用场景的反馈，以及您可能如何使用这项技术。