返回首页
最新
我厌倦了无休止地浏览各种类名和类型定义,因此我开发了一个 VS Code 扩展,可以用表情符号装饰你的代码。最棒的是?它不会在你的实际文本中注入任何内容,因此不会出现编译错误或语法高亮问题。
适合于:
- 让代码审查变得更有趣
- 快速识别不同类型的类/组件
- 为你的代码库增添个性
我最近构建了一个小型的开源工具,用于基准测试不同的LLM API端点,包括OpenAI、Claude以及自托管模型(如llama.cpp)。<p>该工具可以运行可配置数量的测试请求,并报告两个关键指标:
• 首个令牌延迟(毫秒):首个令牌出现所需的时间
• 输出速度(令牌/秒):整体输出流畅度<p>演示链接: <a href="https://llmapitest.com/" rel="nofollow">https://llmapitest.com/</a>
代码链接: <a href="https://github.com/qjr87/llm-api-test">https://github.com/qjr87/llm-api-test</a><p>该工具的目标是提供一种简单、直观且可重复的方法,以评估不同LLM提供商的性能,包括越来越多的第三方“代理”或“廉价LLM API”服务。<p>它支持:
• OpenAI兼容的API(官方+代理)
• Claude(通过Anthropic)
• 本地端点(自定义/自托管)<p>您还可以使用docker-compose进行自托管。
配置非常简洁,添加新的提供商只需简单的插件式添加。<p>欢迎反馈、拉取请求,或您正在使用的API的测试报告。特别希望了解一些不太知名的服务之间的比较。