2023/11/13更新：
实测 llama.cpp-python 没问题，webui还没更新，所以依旧不能使用，我写了两个运行在kaggle和colab上的脚本，本地跑不了的可以试试看：
https://summer-plus.net/read.php?tid=2003973

2023/11/07更新：

对话问题已解决，text-generation-webview的Prompt Template已新增ChatML。
选择后set default，然后开启一个新对话即可

这个模型的vocab太大，老的llama.cpp加载时只能纯CPU，最近llama.cpp修好调用GPU，但webui使用的llama.cpp-python还没修复，所以目前似乎只能通过命令行使用。继续等待修复。目前一定要在tgwebui加载的话，请用gptq版本。

————————

先震撼一下。【但我不知道怎么跟它上下文对话，目前只能一问一答，有懂的老哥请不吝赐教】

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

这个模型叫CausalLM/14B

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

【继续求上下文对话方法】

huggingface上不是有很多大模型么 都可以试试。有34B的大模型 也有70B的模型 24GB显存就可以部署量化的34B模型了 速度还挺快的

我去试试 我是用云端跑的 我看的是这个排行榜
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
现在排行榜有好多啊 哪个比较权威些

可以试试用GGUF后缀的模型 这个模型支持用内存跑 就是速度慢些 我70B的模型就是这么跑的

是不是ai回答老是被截断？更改模型输出设置就行 在webui的Parameters→Generation 把 max_new_tokens拉高就行

显存不够 你跑的什么模型

你试试TheBloke/CausalLM-14B-GGUF模型 可以用内存跑 只要下载一个.gguf后缀的模型就行了 启动参数加个--n-gpu-layers 20 试试
model loader就是llama.cpp了 加载模型应该是自动选择的

我也没玩多久 懂的不多
可以看这个参考一下
https://zhaozhiming.github.io/2023/08/31/llm-quantization-format-introduce/

看看你的报错代码

这边好像是缺了个config文件 我来试试

他们说是用RWKV_Runner运行 用webui确实会出现问题

这个我了解的不多 不过大语言模型应该都是可以续写的chatgpt之类的

可以看模型文件的大小，实际运行需要的显存要比模型文件稍微大些

用RWKV_Runner吧

我在云端linux平台上测试没问题啊

不是 就是webui不支持RWKV 曾经是支持的 现在不支持了
RWKV是RNN模型 而现在大多模型都是transformer的模型

想跑RWKV的可以试试RWKV Runner 或者 RWKV Role Playing