大一学生，如何配一台能运行本地GPT模型的PC?

未开源。开源的版本是GPT2，模型在这里：

然后代码在这里

如果需要论文：

然而GPT2的性能一般，并且需要较大的硬件花费。所以如果只是想搞一个可以对话的模型玩玩，并且不训练，只推理（）的话，可以试试基于RWKV的。

其论文：

大概原理是找到了的一个近似实现，略微的性能损失，但是成功的使这个近似的拥有了RNN的能力，从而极大的降低了复杂度。其版本的代码在这里：

然后来这里下载需要的模型。

代码部署很方便，conda 一个环境，安装必要的库，直接按说的run就行了。run起来直接可以对话。你也可以调整init 来定制自己的。但是为了更好的解决特定领域的问题还是得自己训练个。

我的配置是i9-，32GB，2060 8G显存，跑3B参数版本刚刚够，速度挺快的，和与文心一言的速度差不多。

但是我下载的是科幻小说训练集训练的模型，所以这个模型总是出现幻觉，发癫。。。。。

我没下载其他训练集下的模型，估计效果能好一点吧。如果想让他帮你解决问题的话还是老老实实用之类的吧。咱一般人真搞不来优质的语料库能去训练这些模型的，而且训练的硬件成本也是非常高昂的。

自己玩一玩还是挺有意思的。比如这个模型天生支持科幻文章续写（毕竟语言模型本质上就是预测下一个词语出现的概率，由于这个概率是通过科幻文章训练的，所以他写科幻文章还像那么一回事，不过细看还是拉了跨了）

这个模型还有一个比较明显的问题就是似乎长程对话效果较差，对话越久就越容易突然疯癫，开始类似于你在手机输入法上不断点击之一个跳出来的词而打出来的话一样。。。。