none.gif

2f8f17bd

“一个很不错的大模型”在线体验版

之前提到一个很不错的大模型 CausalLM,使用了Qwen的权重。
前情提要:https://summer-plus.net/read.php?tid-1991209.html


我是64G内存的笔记本,带一个核显,所以有32G的共享显存,慢点也能加载。
很多人运行不起来估计是台式机或者屏蔽了核显。

我粗略凑了两个在线的。
一个是API版,使用7B-GGUF模型,运行在Kaggle的CPU上,请自备一个支持OpenAI接口格式的客户端;
另一个是webui版,使用13B-GPTQ模型,运行在Colab上,开箱即用,但一次运行要7-8分钟。
具体说明我写在页面里了。

因为环境和依赖问题很麻烦,不保证所有人能跑起来,也不保证未来能正常
如果有问题的话……我估计也解决不了,单纯给各位参考下吧


脚本和 demo:

此帖售价 0 SP币,已有 504 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

none.gif

named

周末了试试看

wuya!


momoz


none.gif

23b5fdcd

GGUF版本我在本地会报错,不知道为什么……GPTQ就不会。

但是我只有8G显存,GPTQ只能跑7B的版本跑不了14B的版本……就很纠结

a8.gif

那女孩对我说

等用台式试试

891752.jpg

dianzi

留名,试试看~

none.gif

a46aceeb

目前还没到玩模型的级别,留个爪印~~

7.gif

千影

网站需要翻墙

1413649.png

有机可塑性燃料167

插眼 以后学习一下