美文网首页
本地大模型联网搜索-openwebui使用searxng踩坑集锦

本地大模型联网搜索-openwebui使用searxng踩坑集锦

作者: 黑魔术师 | 来源:发表于2024-08-17 17:42 被阅读0次

核心参考文档

openwebui的官方文档
https://docs.openwebui.com/tutorial/web_search/

踩坑列表

  1. 本机8080端口占用(nginx)
    这个最简单,我把外部端口占用改为了8081,docker启动时命令是 8081:8080。这里后边的端口是docker内部占用端口默认是不能修改的。
  2. 按照说明配置localhost:8081后报错 HTTPConnectionPool(host='localhost', port=8081): Max retries exceeded
    这里的核心原因是宿主机的8081端口,docker内部默认是无法访问的。先尝试改docker网络模式为host,发现起不来,然后把host改为 host.docker.internal 即可通过docker原生能力访问宿主机端口
  3. 报错变为了403 Client Error: FORBIDDEN for url: http://host.docker.internal:8081/search
    这里主要是在启动searxng时,我偷懒直接用了最下方的docker命令一键启动了searxng,导致默认不支持json格式返回值。按照文档修改配置文件后,重新启动searxng即可。

本次事件用的ollama运行的llama3.1-8B(32g m1 macbook),简单测试下来效果比较一般,还不如豆包的效果好,速度慢,正确率低(仔细查看网络搜索都有问题答案,回答还是错误的),仅适合有本地化强诉求的同学来用。

近期看一篇文档,通过CoT的模式,只要循环调用小模型也可以提升效果,后续尝试找一些CoT的框架来做一些自娱自乐的小测试。

相关文章

  • Tensorflow Object Detection 目标检测

    记录使用 Tensorflow 官方的 Object Detection API 进行自定义模型训练的踩坑过程。官...

  • ZSL踩坑集锦

    rt

  • React踩坑集锦

    组件名首字母没有大写 没有导入react相关的包 script标签的type没有写成text/babel crea...

  • mysql踩坑集锦

    1.round函数的四舍五入 1.1问题解决 今天在导出报表时,发现有个字段金额的值为 501.429900000...

  • Flutter踩坑集锦

    开发环境: Ubuntu 18.04.1 LTS Could not resolve all files for ...

  • BigDecimal踩坑集锦

    BigDecimal在Java编程中,非常实用,在算钱的时候,哪怕精度丢了一丢丢都让人头疼,所以一般我们不采用fl...

  • Basis of AndroidNativeEmu

    安装使用 环境要求: python 3.7 (注意必须是3.7版本, 使用3.6装keystone的时候踩了坑) ...

  • nat模式配置

    如何使用Xshell连接VMware上的Linux虚拟机(踩坑) - 1024搜-程序员专属的搜索引擎 (1024...

  • 利用python将pdf文件转成word文件

    因为pdfminer这个库,本人踩了很多坑。 网上搜索的各种pdf转word的办法都已经不能继续使用。 大部分都是...

  • Java面试踩坑集锦

    1.Java线程有几种状态,分别是什么? 线程的状态定义在java.lang.Thread.State下有一个eu...

网友评论

      本文标题:本地大模型联网搜索-openwebui使用searxng踩坑集锦

      本文链接:https://www.haomeiwen.com/subject/tsmukjtx.html