核心参考文档
openwebui的官方文档
https://docs.openwebui.com/tutorial/web_search/
踩坑列表
- 本机8080端口占用(nginx)
这个最简单,我把外部端口占用改为了8081,docker启动时命令是 8081:8080。这里后边的端口是docker内部占用端口默认是不能修改的。 - 按照说明配置localhost:8081后报错 HTTPConnectionPool(host='localhost', port=8081): Max retries exceeded
这里的核心原因是宿主机的8081端口,docker内部默认是无法访问的。先尝试改docker网络模式为host,发现起不来,然后把host改为 host.docker.internal 即可通过docker原生能力访问宿主机端口 - 报错变为了403 Client Error: FORBIDDEN for url: http://host.docker.internal:8081/search
这里主要是在启动searxng时,我偷懒直接用了最下方的docker命令一键启动了searxng,导致默认不支持json格式返回值。按照文档修改配置文件后,重新启动searxng即可。
本次事件用的ollama运行的llama3.1-8B(32g m1 macbook),简单测试下来效果比较一般,还不如豆包的效果好,速度慢,正确率低(仔细查看网络搜索都有问题答案,回答还是错误的),仅适合有本地化强诉求的同学来用。
近期看一篇文档,通过CoT的模式,只要循环调用小模型也可以提升效果,后续尝试找一些CoT的框架来做一些自娱自乐的小测试。