返回首页
最新
我相信很多人都对此有所了解,但在找到(或构建)一个在PyTorch中有效的模型与将其部署到应用程序之间,存在着一个棘手的鸿沟,尤其是在面向消费者的应用程序中。
我一直对以良好的开发者体验解决这个问题非常感兴趣。随着时间的推移,我逐渐意识到,最有影响力的事情是能够将现有的Python代码转换为一个自包含的本地二进制文件——换句话说,就是一个Python编译器。
我已经对一个成功的尝试相当熟悉:当苹果在iPhone 5s上推出armv8时,他们迅速要求所有应用程序支持64位。Unity——我从11岁起就开始编程的地方——因此遭遇了麻烦,因为他们使用Mono来运行开发者的C#代码,而Mono并不支持64位ARM。最终,Unity构建了IL2CPP,它将C#中间语言转译为C++,然后进行交叉编译。到目前为止,我认为这是Unity所取得的最惊人的技术成就。
我开始着手构建类似的东西,但这次是从Python出发。考虑到Python语言的动态特性,这个问题相当困难。关键的突破是PyTorch 2.0的发布,他们开创性地使用符号追踪来支持`torch.compile`。简而言之,他们向Python解释器注册了一个回调(使用CPython的帧评估API),用虚假的输入运行一个函数,并记录下函数中发生的所有事情的中间表示(IR)图。
一旦你有了IR图,就可以通过在程序中传播类型信息,将其逐步降低为C++/Rust代码(请参见博客文章中的示例)。现在正是拥有这种基础设施的最佳时机,因为大型语言模型(LLMs)可以完成编写和验证所需本地代码操作的所有繁重工作。
无论如何,我想分享这个概念验证并收集反馈。使用Function非常简单,只需用`@compile`装饰一个模块级函数,然后使用命令行工具进行编译:`fxn compile module.py`。
简而言之:在不需要学习Rust的情况下获得Rust的性能;)
嘿,HN,
Postgres Pro 是一个开源的模型上下文协议(MCP)服务器,旨在支持开发过程的每个阶段。
它不仅仅是帮助生成和运行 SQL,它还帮助您确保应用程序和数据库能够良好运行。
功能:
- 类似于 MS SQL Server 的工业级调优算法
- “如果……会怎样?”工具,用于评估 LLM 生成的索引建议
- 与 Cursor 等工具配合,便于在 ORM 代码中进行更改
- 通过限制模式确保安全的 SQL 执行
- 包含健康检查,以提前应对生产问题
我一直觉得,当有人能够通过合理的猜测做出可信的估算时,这是一件很酷的事情。我最近了解到,这种估算有时被称为“费米估算”,以著名物理学家恩里科·费米命名,而这也是他著名的费米悖论所使用的相同技巧。
你可以通过几个滑块和固定的数量(例如每年的周数)建立一个粗略的逻辑链,目标是尽量接近真实答案的数量级。数学很简单;思考才是关键。
欢迎反馈。
Prose AI 不仅仅是语法检查,它提供更智能的结构、语气和流畅度建议。它不仅是一个工具,更是你写作的得力助手,帮助去除冗余,提高清晰度。
嗨,HN!<p>我们是Knowbase Decks的创始人,这是一个AI演示文稿制作工具。它使用红杉资本的商业计划要点,允许您输入两句话(您正在构建的内容是什么/为什么要构建它),然后为您生成一个简单而极简的演示文稿,并提供示例内容。<p>这个工具可以帮助您快速入门,缩短启动所需的时间。我们现在提供29美元的优惠,您将获得由我们正在改进的更强大AI算法制作的演示文稿,并且我们会提供手动支持。欢迎您给我们反馈——我们知道我们现在推出的版本还很早。<p><a href="http://knowbase.one/decks/" rel="nofollow">http://knowbase.one/decks/</a><p>完成 + 支持者:
<a href="https://x.com/wkoszek" rel="nofollow">https://x.com/wkoszek</a>
<a href="https://x.com/wwojtyniak" rel="nofollow">https://x.com/wwojtyniak</a>
有很多相关的前期研究(这里有个很好的概述:https://sr.ht/~bptato/chawan/#neighbors),但我正在做一些不同的事情,这些事情是我希望存在的。
我对反应很感兴趣。可能还要几周才能发布,但这里有一个简短的截图:https://youtu.be/_Bs7BoQBoBA (或者如果你更喜欢 asciinema:https://asciinema.org/a/9w6CMnaI9VxiykI1PgVWm4lsi)
你有什么想法?
这个项目的背景是,它旨在用于受限环境(超薄客户端,程序可以远程运行或在同一台机器上运行;安全限制?带宽限制?资源限制?内容限制?)。
就我个人而言,这是一个我非常关心的项目,因为我第一次与计算机甚至互联网的互动都是基于文本的,那是在拨号上网和BBS系统的时代。但在现代,我常常有一种想要远离所有那些五光十色、争夺我注意力的图像和信息的感觉。我只想要一个安静、有效的网络。但我不喜欢扩展程序知道一切,而内容脚本又很脆弱。对我来说,终端的媒介实际上传达了不同的信息和独特的体验,我认为这很有价值。我也认为互联网希望以这种方式看待自己。
所以我在构建这个项目,无论反应如何。我还认为,也许我可以做一些时尚的事情,因为OCR仍然是一个重大问题,如果人工智能能够以文本为基础来驱动网络内容,也许他们会喜欢这样。不过这并不是我主要的目标,但我需要考虑资金问题。
我还有一些其他有趣的想法,这些想法真正向过去致敬;一个更文明的时代。
在对现有的DynamoDB图形用户界面客户端感到有些沮丧后,我决定自己构建一个。<p>功能:<p>1. 请求集合:将多个操作(如放置、查询、更新和删除)串联在一起,跨越不同的表、账户和会话。将一个操作的输出作为下一个操作的输入。<p>2. 环境变量:一次配置变量,便可在不同环境(开发/测试/生产)中运行相同的请求。无需再手动切换参数。<p>3. 多标签、多账户支持:可以同时处理不同AWS账户下的多个表和单点登录会话。<p>4. 简便的单点登录:在不离开图形用户界面的情况下启动单点登录。<p>5. Git同步:所有请求配置都以TOML文件的形式保存在本地。您的数据保持私密,并且可以使用Git进行版本控制。<p>欢迎任何反馈。