我也没玩多久 懂的不多
可以看这个参考一下
https://zhaozhiming.github.io/2023/08/31/llm-quantization-format-introduce/

感谢博主的分享

LocalNSFW/RWKV-Claude加载报错怎么办啊？

看看你的报错代码

用这个的话ExLlama_HF
Traceback (most recent call last):

File "G:\text-generation-webui-1.7\modules\ui_model_menu.py", line 201, in load_model_wrapper


shared.model, shared.tokenizer = load_model(shared.model_name, loader)
File "G:\text-generation-webui-1.7\modules\models.py", line 79, in load_model


output = load_func_map[loader](model_name)
File "G:\text-generation-webui-1.7\modules\models.py", line 333, in ExLlama_HF_loader


return ExllamaHF.from_pretrained(model_name)
File "G:\text-generation-webui-1.7\modules\exllama_hf.py", line 139, in from_pretrained


config = ExLlamaConfig(pretrained_model_name_or_path / 'config.json')
File "G:\text-generation-webui-1.7\installer_files\env\lib\site-packages\exllama\model.py", line 45, in init


with open(model_config_path) as f:
FileNotFoundError: [Errno 2] No such file or directory: 'models\LocalNSFW_RWKV-Claude\config.json'

用这个的话AutoGPTQ
Failed to load LocalNSFW_RWKV-Claude.

这边好像是缺了个config文件 我来试试

感谢分享，标记一下

基本没有，偶尔试过比较重的也没什么问题，但是因为中文化用的中文lora所以对话效果比较差。二个里面Nous-Hermes-13b-Chinese-plus-GPTQ相对来说效果比较好。
忘了说一下，要上下文对话或情景对话的话你去下个SillyTavern，再去下点角色卡和剧情卡，就可以用别人写好的人物剧情对话了。这个软件也支持gpt之类的破限，很好用。

他们说是用RWKV_Runner运行 用webui确实会出现问题

有在线续写网站可以直接粘贴文章续写吗？

这个我了解的不多 不过大语言模型应该都是可以续写的chatgpt之类的

大佬，这个模型需要多大显存才能跑啊，我8G的3060ti直接报错了

可以看模型文件的大小，实际运行需要的显存要比模型文件稍微大些

LocalNSFW/RWKV-Claude跑不了，
OSError：models\LocalNSFWRWKV-Claude 似乎没有名为 config.json 的文件。签出“https://huggingface.co/models\LocalNSFWRWKV-Claude/None”以获取可用文件。

用RWKV_Runner吧

尝试了一下，也使用不上，会报错显示模型不存在

我在云端linux平台上测试没问题啊

我再试试，我是本地跑的，可能问题比较多（

老大，请问YI-32B怎样装载？可以简略说一下吗？

niubi

有没有类似高自主性的在线版本？或者或同类型网站？我的cpu还行，但是内存、显卡、和储存都特别差

不会用啊……太复杂了

感谢，mark

一般就是GPTQ和GGUF两种
GPTQ就是用N卡显存作计算，GGUF就是用CPU和内存做计算
显卡计算速度一般号称是内存的30倍

引用

引用第1楼19a04b96于2023-10-31 03:38发表的  :
没玩过楼主这个，但是玩过claude，自己也写了不少模板- -你可以更详细的写一些具体的要求，比如设定一个角色，然后你是另一个角色，这样就能在的预设的框架下发展剧情了

是不是以前的claude没有审查，还是用的开源claude衍生版？

引用

引用第44楼9969b37f于2023-11-09 22:55发表的 回 15楼(2f8f17bd) 的帖子 :
LocalNSFW/RWKV-Claude跑不了，
OSError：models\LocalNSFWRWKV-Claude 似乎没有名为 config.json 的文件。签出“https://huggingface.co/models\LocalNSFWRWKV-Claude/None”以获取可用文件。

我的理解是WEBUI普通版不支持羊驼CPP，我只能跑CPU只能用gguf版本，配置里规定了要用羊驼CPP，所以只能用命令行

而NSFWRWKV-Claude 没有config.json 能不能试试命令行或者https://github.com/josStorer/RWKV-Runner

NSFWRWKV-Claude你可以加他们群试试，不知道还在不在

裂开，为什么看不懂你们在说什么

不是 就是webui不支持RWKV 曾经是支持的 现在不支持了
RWKV是RNN模型 而现在大多模型都是transformer的模型

想跑RWKV的可以试试RWKV Runner 或者 RWKV Role Playing

是不是某种意义上slack的克劳德寄了后，反而倒逼了瑟瑟LLM的发展？