之前提到一个很不错的大模型 CausalLM，使用了Qwen的权重。
前情提要：https://summer-plus.net/read.php?tid-1991209.html
我是64G内存的笔记本，带一个核显，所以有32G的共享显存，慢点也能加载。
很多人运行不起来估计是台式机或者屏蔽了核显。
我粗略凑了两个在线的。
一个是API版，使用7B-GGUF模型，运行在Kaggle的CPU上，请自备一个支持OpenAI接口格式的客户端；
另一个是webui版，使用13B-GPTQ模型，运行在Colab上，开箱即用，但一次运行要7-8分钟。
具体说明我写在页面里了。
因为环境和依赖问题很麻烦，不保证所有人能跑起来，也不保证未来能正常
如果有问题的话……我估计也解决不了，单纯给各位参考下吧
脚本和 demo：
前情提要：https://summer-plus.net/read.php?tid-1991209.html
我是64G内存的笔记本，带一个核显，所以有32G的共享显存，慢点也能加载。
很多人运行不起来估计是台式机或者屏蔽了核显。
我粗略凑了两个在线的。
一个是API版，使用7B-GGUF模型，运行在Kaggle的CPU上，请自备一个支持OpenAI接口格式的客户端；
另一个是webui版，使用13B-GPTQ模型，运行在Colab上，开箱即用，但一次运行要7-8分钟。
具体说明我写在页面里了。
因为环境和依赖问题很麻烦，不保证所有人能跑起来，也不保证未来能正常
如果有问题的话……我估计也解决不了，单纯给各位参考下吧
脚本和 demo：
此帖售价 0 SP币,已有 506 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!
GGUF版本我在本地会报错，不知道为什么……GPTQ就不会。
但是我只有8G显存，GPTQ只能跑7B的版本跑不了14B的版本……就很纠结
但是我只有8G显存，GPTQ只能跑7B的版本跑不了14B的版本……就很纠结