Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 为了老百姓的安居梦 7904763
- 2 美股再遇“黑色星期一” 7808492
- 3 双汇前任老总游牧突发心梗离世 7713373
- 4 67款APP违法收集使用个人信息被通报 7618675
- 5 雨果夺冠海报:拆长城了 7520182
- 6 关晓彤录制五四晚会 齐刘海造型超美 7424304
- 7 当事人回应刘强东给自己送外卖 7328097
- 8 台积电披露:在美国大亏 在大陆大赚 7233666
- 9 霍启刚郭晶晶带全家游山西大同 7138355
- 10 反诈老陈回应直播4天卖百万:到手8万 7043689