| 浏览器收藏 | 打印

none.gif

鞠萍姐姐

GF  2023-06-26 23:30
（别低头绿帽会掉）
只看GF |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

有玩RWKV模型的同好吗？

有客户端可以一键本地部署，需要的内存小，续写小说的写出来的文字也还不错，但是现在的训练模型都是喂的正常网文。不知道有没有大佬可以分享分享微调的经验啊
顶端

none.gif

鞠萍姐姐

B1F  2023-06-26 23:32
（别低头绿帽会掉）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
分享几个折腾的链接。一个人研究太痛苦了。
模型介绍：https://zhuanlan.zhihu.com/p/619721229
训练相关：https://zhuanlan.zhihu.com/p/629809101
一键配置教程+文件：https://www.bilibili.com/video/BV1hM4y1v76R/?spm_id_from=333.337.search-card.all.click
顶端

none.gif

812a1470

B2F  2023-06-27 00:38
（yeah）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
配置不太好，不太带得起，而且尝试了写不了瑟瑟的
顶端

9.png

0去年夏天0

B3F  2023-06-27 17:40
（这里我也不知道写点啥好啊）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
还行吧，你用的1.5B吗？我测试1.5B貌似确实写不了涩涩，3B和7B 会好很多。
顶端

none.gif

ec47d06e

B4F  2023-06-27 21:01
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
rwkv有个huangwen模型，我下下来试了下感觉还是差点意思，目前在搞涩涩方面可能还是克劳德。
我也在期待什么时候能有本地部署版的克劳德的平替
顶端

none.gif

鞠萍姐姐

B5F  2023-06-28 01:24
（别低头绿帽会掉）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

回 2楼(812a1470) 的帖子

主要是得微调，这个对配置需求不高，清华那个CHATGLM需要8张3090才能全参数训练。这个消费级显卡也能够喂他素材搞色色
顶端

none.gif

鞠萍姐姐

B6F  2023-06-28 01:25
（别低头绿帽会掉）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

回 3楼(0去年夏天0) 的帖子

我用的7B模型，测试下来一般的玄幻文没有问题，但是没法色色。需要微调，但是我没有合适的训练集，所以看看有没有同好一起弄。
顶端

none.gif

鞠萍姐姐

B7F  2023-06-28 01:27
（别低头绿帽会掉）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

回 4楼(ec47d06e) 的帖子

还得是自己训练。这个框架的模型训练好像一张3090就能进行
顶端

none.gif

小强少爷

B8F  2023-06-28 19:39
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大
要不是嫌慢的话，P40应该够用，无非是慢点多花点电费
训练集比较麻烦
顶端

none.gif

鞠萍姐姐

B9F  2023-06-29 17:37
（别低头绿帽会掉）
只看该作者 |
屏蔽
屏蔽此人 屏蔽头像
| 小 中 大

回 8楼(小强少爷) 的帖子

我在想用GPT4来筛选训练集能不能成形
顶端