🔥 热搜 🔥
百度今日热点微信公众平台贴吧opggdnf私服百度贴吧知乎dnf公益服百度傻逼
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
查看原文
其他

SiliconCloud API实战攻略：手把手教你配置OneAPI、LobeChat、MindSearch

SiliconCloud 硅基流动
2024-09-14

（由SiliconCloud平台模型Flux.1生成）

SiiconCloud是硅基流动推出的大模型云服务平台，通过集成SiiconCloud API，开发者和企业可以轻松地使用SiiconCloud平台上的大模型服务，以实现各种生成式AI相关的任务和功能，推动业务创新和增长。
为方便用户在各主流应用平台上接入SiliconCloud API，此前，《沉浸式翻译、Dify、NextChat“三连击”，B站Up主的SiliconCloud API接入实战》一文介绍了SiliconCloud在上述三个应用平台的接入步骤。这次，我们将手把手教你在OneAPI、LobeChat、MindSearch中配置SiliconCloud的API。
当然，无论在哪个平台配置SiliconCloud API，一个必备步骤是获取API密钥：首先，注册SiliconCloud（http://siliconflow.cn/zh-cn/siliconcloud）的账号（若已注册，可直接登录）；完成注册后，点击右边栏“API密钥”创建API Key，并复制密钥，以备后续使用。


在OneAPI中使用SiliconCloud


OneAPI（https://github.com/songquanpeng/one-api）是一个可做API管理、派发以及账户计费等功能的开源项目，并且有非常方便的前端来修改配置。
当你部署好OneAPI之后，可以通过“创建新的渠道”开始配置。
由于OneAPI官方已接入硅基流动的SIliconCloud API，所以你可以在“类型”中直接选择“SIliconFlow”。“名称”可自行填入“SiliconFlow/SiliconCloud”。如果你对“分组”没有特别需求，可直接选择“default”。
然后，“模型”一栏可自行选择SiliconCloud已提供的所有模型。“密钥”部分填入你在SiliconCloud里获取到的API密钥。“代理”部分无需填写。
提交后点击测试，它会按配置发一个简单的请求，配置正确会显示为下图所示。
至此，你就可以通过OneAPI使用SiliconCloud的API服务了。
现在，你也可以在NextChat、LobeChat等应用平台调用OneAPI中接入的SiliconCloud API。

在LobeChat中使用SiliconCloud

与NextChat类似，LobeChat（https://chat-preview.lobehub.com/）也是一个开源的AI聊天框架，支持诸多大模型API服务，用户可一键免费部署自己的AI应用程序。
实际上，LobeChat官方也接入了SiliconCloud的服务。
点击用户头像，你可以在应用设置的“语言模型”服务中打开SiliconFlow的服务，并填入从SiliconCloud平台创建的API密钥。随后，打开“客户端请求模式”即可。在模型列表中，共有27款模型可供选择。
设置完成后，返回LobeChat主界面，点击自定义助手即可选择使用SiliconCloud中的任一大模型服务。


在MindSearch中使用SiliconCloud


MindSearch（思·索，https://github.com/InternLM/MindSearch）是由书生·浦语研究团队提出的多智能体框架，它可以模拟人的思维过程，通过引入任务规划、任务拆解、大规模网页搜索、多源信息归纳总结等步骤，自主实现同时从上百个网页中进行信息搜集、整理。
随着硅基流动的大模型API服务平台提供了免费的InternLM2.5-7B-Chat服务，MindSearch的部署与使用也就迎来了纯CPU版本，进一步降低了部署门槛。

部署MindSearch

调整MindSearch的配置接入SiliconCloud API（完全兼容OpenAI API接口）。在clone MindSearch到本地并安装相关依赖后（可参考 https://github.com/InternLM/MindSearch/blob/main/README.md），修改/path/to/MindSearch/mindsearch/models.py加上调用SiliconCloud API的相关配置。
配置如下：
internlm_silicon = dict(type=GPTAPI, model_type='internlm/internlm2_5-7b-chat', key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'), openai_api_base='https://api.siliconflow.cn/v1/chat/completions', meta_template=[ dict(role='system', api_role='system'), dict(role='user', api_role='user'), dict(role='assistant', api_role='assistant'), dict(role='environment', api_role='system') ], top_p=0.8, top_k=1, temperature=0, max_new_tokens=8192, repetition_penalty=1.02, stop_words=['<|im_end|>'])
加入这段配置后，开始执行相关指令启动MindSearch。
首先启动MindSearch后端：
# 指定硅基流动的 API Keyexport SILICON_API_KEY=（填入在SiliconCloud创建的API密钥）# 启动python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
然后启动MindSearch的前端。这里以Gradio前端为例，其他前端启动可以参考MindSearch的README。
python frontend/mindsearch_gradio.py

可以体验一下根据本文教程部署好的基于硅基流动SiliconCloud API的MindSearch服务：https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow


上传到HuggingFace Space

你也可以选择部署到HuggingFace Space中。首先，在https://huggingface.co/new-space创建一个新的Space，配置如下图所示。
创建成功后，进入settings设置API Key。
然后选择New secrets，name一栏输入 SILICON_API_KEY，value一栏填入你的API Key。

最后，你只需要把第二步中的mindsearch目录、requirements.txt和一个app.py一并上传上去就完成了。具体文件结构如下所示。（app.py内容详情请查看https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow/blob/main/app.py）
特别预告
为了让用户更好地使用SiliconCloud InternLM API，书生大模型实战营第3期的彩蛋岛环节将分享以下课程：

  • 【手把手带你使用InternLM实现谁是卧底游戏（基于SiliconCloud InternLM API）】

  • 【如何使用纯CPU将MindSearch部署到HuggingFace（基于SiliconCloud InternLM API）】


欢迎感兴趣的朋友报名参与：https://www.wjx.cn/vm/PvefmG2.aspx?udsid=832803

让超级产品开发者实现“Token自由”

邀请新用户体验SiliconCloud，狂送2000万Token/人

邀请越多，Token奖励越多
siliconflow.cn/zh-cn/siliconcloud

扫码加入用户交流群
继续滑动看下一个
硅基流动
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存