返回首页
最新
我写了一个小型的 Python 库 `mlxx`，它对 MLX 进行了猴子补丁，这样我们就可以方便地使用更多的数组方法，比如 `array.allclose(another)` 或 `vec1.inner(vec2)`，而无需繁琐的代码。<p>请查看 github.com/ifsheldon/mlxx<p>谢谢！
你好，HN！我们是来自Tinfoil的Tanya、Sacha、Jules和Nate：<a href="https://tinfoil.sh">https://tinfoil.sh</a>。我们在云端托管模型和AI工作负载，同时保证零数据访问和保留。这使我们能够在云GPU上运行开源的大型语言模型（LLMs），如Llama或Deepseek R1，而无需您信任我们或任何云服务提供商处理您的私人数据。
由于AI在获得更多上下文时表现更佳，我们认为解决AI隐私问题将解锁更有价值的AI应用，就像互联网的TLS协议使电子商务蓬勃发展一样，让人们知道他们的信用卡信息不会被窃取。
我们团队的背景涵盖了密码学、安全性和基础设施。Jules在麻省理工学院（MIT）获得了可信硬件和保密计算的博士学位，并与NVIDIA和微软研究院在这方面合作；Sacha在MIT获得了隐私保护密码学的博士学位；Nate曾从事Tor等隐私技术的研究；而我（Tanya）则在Cloudflare的密码学团队工作。我们对像个人身份信息（PII）编辑这样的权宜之计（在某些情况下，如AI个人助手中实际上是不可取的）以及通过法律合同（如数据处理协议DPA）实现的“粉指承诺”安全感到不满。我们希望找到一个真正的解决方案，用可证明的安全性取代信任。
在本地或内部运行模型是一个选择，但可能成本高昂且不便。全同态加密（FHE）在可预见的未来对于大型语言模型的推理并不实用。下一个最佳选择是使用安全区：在芯片上创建一个安全环境，其他在主机上运行的软件无法访问。这使我们能够在云中进行LLM推理，同时能够证明没有人，包括Tinfoil或云服务提供商，可以访问数据。由于这些安全机制是在硬件中实现的，因此性能开销最小。
尽管我们（Tinfoil）控制主机，但我们无法看到安全区内部处理的数据。从高层次来看，安全区是一组被保留、隔离并锁定的核心，以创建一个分隔的区域。所有从安全区出来的数据都是加密的：包括内存和网络流量，以及到其他设备（如GPU）的外设（PCIe）流量。这些加密使用在设置过程中在安全区内部生成的秘密密钥进行，这些密钥从未离开其边界。此外，芯片中内置的“硬件信任根”使客户能够检查安全声明并验证所有安全机制是否到位。
直到最近，安全区仅在CPU上可用。但NVIDIA的保密计算最近将这些基于硬件的功能添加到了他们最新的GPU上，使得在安全区中运行基于GPU的工作负载成为可能。
以下是其工作原理的简要概述：
1. 我们将应在安全区内部运行的代码发布到Github，并将编译后的二进制文件的哈希值发布到一个名为Sigstore的透明日志中。
2. 在将数据发送到安全区之前，客户端从安全区获取一份签名文档，其中包含由CPU制造商签名的运行代码的哈希值。然后，客户端与硬件制造商验证签名，以证明硬件是真实的。接着，客户端从透明日志（Sigstore）获取源代码的哈希值，并检查该哈希是否与我们从安全区获取的哈希相等。这使客户端能够获得可验证的证据，证明安全区正在运行我们所声称的确切代码。
3. 在确认安全区环境符合我们的预期后，客户端将其数据发送到安全区，数据在传输过程中是加密的（TLS），并且仅在安全区内部解密。
4. 处理完全在这个受保护的环境中进行。即使是控制主机的攻击者也无法访问这些数据。
我们相信，使端到端可验证性成为“第一公民”是关键。安全区传统上用于消除对云服务提供商的信任，而不一定是对应用提供商的信任。这一点可以通过保密虚拟机技术（如Azure Confidential VM）来证明，该技术允许主机通过SSH访问保密虚拟机。我们的目标是可证明地消除对我们自身（即应用提供商）以及云服务提供商的信任。
我们鼓励您对我们的隐私声明保持怀疑。可验证性是我们的答案。我们不仅仅是说它是私密的；硬件和密码学让您可以进行检查。这里有一份指南，带您了解验证过程：<a href="https://docs.tinfoil.sh/verification/attestation-architecture">https://docs.tinfoil.sh/verification/attestation-architectur...</a>。
人们正在使用我们的服务来分析敏感文档、为专有代码构建协助工具，以及在代理AI应用中处理用户数据，而无需担心之前阻碍云AI采用的隐私风险。
我们很高兴能与HN分享Tinfoil！
* 尝试聊天功能（<a href="https://tinfoil.sh/chat">https://tinfoil.sh/chat</a>）：它通过浏览器检查验证证明。免费，有限消息，$20/月可享无限消息和额外模型。
* 使用API（<a href="https://tinfoil.sh/inference">https://tinfoil.sh/inference</a>）：与OpenAI API兼容的接口。$2/100万tokens。
* 将您现有的Docker镜像部署到Tinfoil上，使其实现端到端保密。这里有一个演示，展示如何使用Tinfoil运行一个可以安全处理私人视频的深度伪造检测服务：<a href="https://www.youtube.com/watch?v=_8hLmqoutyk" rel="nofollow">https://www.youtube.com/watch?v=_8hLmqoutyk</a>。注意：此功能目前不支持自助服务。
* 如果您想运行不同的模型或部署自定义应用，或者只是想了解更多信息，请通过[email protected]与我们联系！
请告诉我们您的想法，我们很想听听您在这个领域的经验和想法！
大家好，
我制作了一个开源的Python工具包/库，名为Cogitator，旨在简化尝试和使用不同的思维链（CoT）推理方法。该项目目前处于测试阶段，但支持使用OpenAI和Ollama提供的模型。它包含了自一致性、思维树和思维图等Cot策略和框架的实现。
项目的GitHub链接： [https://github.com/habedi/cogitator](https://github.com/habedi/cogitator)