使用 Higress + NextChat 快速搭建私人GPT助理 #938
Comments
johnlanni
changed the title
|
一直返回
这个 AI Proxy 插件需要自己配置吗 |
|
token 配的对吗？
| |
Kent Dong
|
|
***@***.***
|
---- 回复的原邮件 ----
| 发件人 | ***@***.***> |
| 发送日期 | 2024年05月17日 21:45 |
| 收件人 | ***@***.***> |
| 抄送人 | Subscribed ***@***.***> |
| 主题 | Re: [alibaba/higress] 使用 Higress + NextChat 快速搭建私人GPT助理 (Issue #938) |
一直返回
{
"error": true,
"message": "empty response from server"
}
因为 Higress 的 AI Proxy 插件（可以访问 http://localhost:8001/ 查看插件配置）配置了 gpt-4-turbo 到 qwen-max 的模型映射，所以实际上这里提供的模型服务是 qwen-max
这个 AI Proxy 插件需要自己配置吗
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>
|
DashScope 的 API-KEY 我用 HTTP 调用接口测试过可以正常返回 |
你可以在 docker-compose.yml 里给 higress 加一个 |
有个这个错误 |
拉不到插件镜像。你的机器能访问外网吗？ |
|
貌似是访问阿里云acr镜像走了ipv6导致的
看了下这个域名 higress-registry.cn-hangzhou.cr.aliyuncs.com 并没有 ipv6 的解析，是不是本地有什么网络特殊配置 |
在 |
|
各位，按照上面的说明都部署好了，打开提示API not found: /这问题怎么破？ |
|
@dpy013 是说直接访问 127.0.0.1:8080吗，得访问127.0.0.1:3000 |
|
是的，访问的确实是127.0.0.1:8080 |
|
@dpy013 注意docker-compose.yaml里nextchat容器的CODE环境变量配置 |
|
把通译千问的api 密钥修改到了 - OPENAI_API_KEY=unused这个参数里了，还是不能用。 |
|
@dpy013 跟这个没关系
注意下这个 |
|
看来不是服务端问题，是我自己的key出问题了。 |
|
应该不会的 |
|
刚重新生成了一个key在去看看。 |
|
这错误越来越奇妙了！ |
|
下面是日志： |
|
@dpy013 你的docker-compose脱敏发一下吧 |
|
以下是docker-compose.yaml文件： version: '3.9'
networks:
higress-net:
external: false
services:
higress:
image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0-rc.1
environment:
- CONFIG_TEMPLATE=ai-proxy
- DEFAULT_AI_SERVICE=qwen
- DASHSCOPE_API_KEY=xx-xxxxxxxxxaaaaaessddd19sa4c97d10909
networks:
- higress-net
ports:
- "8080:8080/tcp"
- "8001:8001/tcp"
volumes:
- /home/ubuntu/AI:/data
restart: always
nextchat:
image: yidadaa/chatgpt-next-web
environment:
- CODE=xxxx1234???
- OPENAI_API_KEY=unused
- CUSTOM_MODELS=-all,+gpt-4o
- BASE_URL=http://higress:8080
networks:
- higress-net
ports:
- "3000:3000/tcp"
restart: always |
|
文件名称维 |
|
CODE环境变量去掉试试，可能是 chatgpt-next-web 的新镜像的问题 |
|
你好报错了： |
定位到是新版本镜像的配置问题，你重新执行一下 docker pull higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0 ，再启动试试 |
|
version: '3.9' networks: services: 提示： |
|
version: '3.9'
networks:
higress-net:
external: false
services:
higress:
image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0
environment:
- CONFIG_TEMPLATE=ai-proxy
- DEFAULT_AI_SERVICE=qwen
- DASHSCOPE_API_KEY=sk-24dbxxxxxxxxxxxxxxxxxxxxxxxx
networks:
- higress-net
ports:
- "8088:8080/tcp"
- "8001:8001/tcp"
volumes:
- /path-to-local-config-folder:/data
restart: always
dns:
- 223.5.5.5
nextchat:
image: yidadaa/chatgpt-next-web
environment:
- OPENAI_API_KEY=unused
- CUSTOM_MODELS=-all,+gpt-4o
- BASE_URL=http://higress:8080
networks:
- higress-net
ports:
- "3000:3000/tcp"
restart: always |
|
强制 如果还不行的话，请提供 higress 容器中 |
这个错误是在哪儿弹出来的？你的 sk 确定是对的吗？ |
对话框弹出来的 下面是一次对话请求的日志： ==> apiserver.log <== ==> pilot.log <== |
|
哪儿的对话框，NextChat 网页吗？看上去这个错误是通义千问返回的。建议检查一下 API Key 是否正确。 |
是NextChat 网页返回的，API Key是刚刚申请的，我换一个试下 |
第一步：创建一个名为
docker-compose.yml的文件，并填入以下内容：第二步：在命令行中运行以下命令，启动 docker compose 项目：
第三步：在浏览器里访问 http://localhost:3000/，打开 NextChat 页面；
第四步：点击对话输入框工具栏最右侧的模型设置按钮，将模型切换为
gpt-4-turbo并关闭窗口。因为 Higress 的 AI Proxy 插件（可以访问 http://localhost:8001 查看插件配置）配置了 gpt-4-turbo 到 qwen-max 的模型映射，所以实际上这里提供的模型服务是 qwen-max
完成！现在你就可以与 AI 进行对话了。
按照上面文件进行配置，默认和你对话的将是通义千问。如果想切换到OpenAI ChatGPT，只需要将文件中的
DEFAULT_AI_SERVICE=qwen修改为DEFAULT_AI_SERVICE=openai，并添加 OpenAI 的 API key 配置，然后重新启动 docker compose 项目即可。The text was updated successfully, but these errors were encountered: