boxmoe_header_banner_img

Hello! 欢迎来到玄夜の资源小站!

加载中

文章导读

本地LLM破甲大模型!接入桌宠(VPET)对话互动!(第二弹)


avatar
树上的小狗 普通用户 2025年7月17日 792

部署LM STUDIO在第一篇文章没看过的可以去康康

事先声明,OllamaLM STUDIO 都可以做后端接入,此处以LM STUDIO做演示。


1.准备LM STUDIO和VPET(这不废话嘛

  • 1.前面步骤在轻量级本地部署LMSTUDIO指南 建议先看这个
  • 1.2.在LM STUDIO部署后点击左侧开发者-使能Status:Running项。点击设置,依次启用CORS在网络提供服务。端口(server port)可自行设置
  • 设置选项如图所示

到这里LM STUDIO部分基本就这样了WWW


2.安装CHAT API 并配置

2.1打开创意工坊 搜索 聊天API: ChatGPT打不开,开加速!QWQ

  • 找到如图MOD,点击订阅

2.2 配置CHAT API

  • 打开VPET….
  • 依次点击系统-设置面板-聊天设置,把使用模式选择自定义聊天接口里面的chat GPT
  • 打开chatgpt设置
  • 依次填入模型Model,API URL
  • 示例:Model gemma-2-2b-it-abliterated
  • API URL http://你的Link+端口/v1/chat/completions/
  • 我这里流式传输打开后对话会报错,所以我这没有打开
  • 配置如图所示
  • 点击保存

最后右键桌宠,即可在上方对话框键入内容耶( •̀ ω •́ )y

欸,不知不觉又写到凌晨了…


模型下载:


聊天API MOD


软件



评论(0)

查看评论列表

暂无评论


发表评论

表情 颜文字
插入代码

个人信息

avatar

228
文章
117
评论
4.2K
用户