none.gif

2f8f17bd

GF  2023-11-13 00:54

“一个很不错的大模型”在线体验版

之前提到一个很不错的大模型 CausalLM,使用了Qwen的权重。
前情提要:https://summer-plus.net/read.php?tid-1991209.html


我是64G内存的笔记本,带一个核显,所以有32G的共享显存,慢点也能加载。
很多人运行不起来估计是台式机或者屏蔽了核显。

我粗略凑了两个在线的。
一个是API版,使用7B-GGUF模型,运行在Kaggle的CPU上,请自备一个支持OpenAI接口格式的客户端;
另一个是webui版,使用13B-GPTQ模型,运行在Colab上,开箱即用,但一次运行要7-8分钟。
具体说明我写在页面里了。

因为环境和依赖问题很麻烦,不保证所有人能跑起来,也不保证未来能正常
如果有问题的话……我估计也解决不了,单纯给各位参考下吧


脚本和 demo:

此帖售价 0 SP币,已有 506 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

1413649.png

有机可塑性燃料167

B1F  2023-12-05 16:44
插眼 以后学习一下