AssertionError: Torch not compiled with CUDA enabled

[Liwan-Chen]

用AMD 运行 chatglm3-6b 模型会报AssertionError: Torch not compiled with CUDA enabled这个错， pytorch版本如下：

torch.version
'2.1.2+cpu'
torch.cuda.is_available()
False

[dosubot[bot]]

🤖

你好，@Liwan-Chen！很高兴再次看到你。希望一切都好！🐱‍👤

您遇到的 "AssertionError: Torch not compiled with CUDA enabled" 错误可能是由于您的 PyTorch 版本为 '2.1.2+cpu' 并且 CUDA 不可用。这意味着 PyTorch 没有编译 CUDA 支持，而这是在 GPU 上运行模型所必需的。

ChatGLM3-6B 模型，像许多深度学习模型一样，设计为在 GPU 上运行以加快计算。如果 CUDA 不可用，意味着模型无法利用 GPU 进行计算，因此会抛出错误。

要解决此问题，您有几个选择：

1. 如果您有 CUDA 兼容的 GPU，您可以安装编译了 CUDA 支持的 PyTorch 版本。您可以按照 PyTorch 网站上的说明进行操作。

2. 如果您没有 CUDA 兼容的 GPU，您可以尝试在 CPU 上运行模型。但是，这可能会显著地慢。您可以通过修改代码以确保所有张量和模型都在 CPU 上加载来实现这一点。这通常可以通过在模型和所有输入张量上调用 .to('cpu') 来完成。

请注意，提供的上下文中没有包含与错误相关的具体代码，因此我无法提供更具体的解决方案。

另外，Langchain-Chatchat 代码库确实包含了在 CPU 上运行 ChatGLM3-6B 模型的具体配置。通过 LLM_DEVICE 变量设置 LLM (语言模型) 运行的设备。默认情况下，它被设置为 "auto"，这意味着程序会自动检测设备。但是，它可以手动设置为 "cpu" 以在 CPU 上运行模型。

以下是相关的代码片段：

# LLM 模型运行设备。设为"auto"会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
LLM_DEVICE = "auto"

要在 CPU 上运行 ChatGLM3-6B 模型，您需要将此行更改为：

LLM_DEVICE = "cpu"

参考资料：

• server/agent/custom_agent/ChatGLM3Agent.py
• configs/model_config.py.example

Sources

• server/agent/custom_agent/ChatGLM3Agent.py
• configs/model_config.py.example

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[Liwan-Chen]

在哪里 修改device 配置，这里LLM_DEVICE = "cpu"修改后只对 api 调用的模型起作用
{'device': 'cuda',
'host': '127.0.0.1',
'infer_turbo': False,
'model_path': 'chatglm3-6b',
'model_path_exists': True,
'port': 20002}

[zRzRzRzRzRzRzR]

AMD GPU 你应该用rocm安装并使用cuda运行