Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

知识库检索出很多脏数据 #3621

Open
SDAIer opened this issue Jan 17, 2025 · 1 comment
Open

知识库检索出很多脏数据 #3621

SDAIer opened this issue Jan 17, 2025 · 1 comment
Labels
bug Something isn't working

Comments

@SDAIer
Copy link

SDAIer commented Jan 17, 2025

目前4.8.16
不知道从什么时候开始的,AI回复了很多脏数据,查看对话记录中的知识库检索,发现检索出来的内容在对应的文件中根本不存在。

之前发现过AI回复的有问题,通过对话记录检查,以为维护的知识库有问题,今天将对应的文件下载打开后发现里面根本没有这个条目。但是通过AI对话记录查看知识库检索发现有很多的脏数据,有的甚至是之前用户与AI沟通的内容都成了脏数据。

而且最近一段时间出现的很频繁。我记得之前4.8早期的版本有提过知识库脏数据的问题,好像需要运行以下脚本解决,请问现在4.8.16也需要执行这个脚本吗,我记得之前说过是自动的清理清理的

curl --location --request POST 'https://{{host}}/api/admin/clearInvalidData' \
--header 'rootkey: {{rootkey}}' \
--header 'Content-Type: application/json'


我运行了以上脚本,返回200

{"code":200,"statusText":"","message":"success","data":null}

但是重新ai提问,还是会使用脏数据回复。

请问该如何处理?执行的时候是否有主意事项?是否会导致系统或数据出现其他问题?
后续如何避免这个问题发生?

Image

@SDAIer SDAIer added the bug Something isn't working label Jan 17, 2025
@c121914yu
Copy link
Collaborator

c121914yu commented Jan 20, 2025

清理过数据后未发现过该问题,可以自己从数据库查找下,这个文件是哪里的。
不停机就会一直自动清理,有长时间停机就需要手动执行。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants