ag百家乐回血 手把手教诲：40000 元在家跑顶级DeepSeek R1的完满决议！
在家运行670B参数超等AI DeepSeek R1 的决议来了！ag百家乐回血
Hugging Face工程师Matthew Carrigan公布了一套超留心的竖立指南，让等闲东说念主也能用6000好意思元在家运行DeepSeek R1这样的超大模子，对应东说念主民币则约4万元。
现时，我来带环球一步一步望望该怎样作念。
第一步：准备硬件
这套决议最让东说念主振作的点是：不需要买昂然的显卡！
咱们只需要购买以下配件：
主板接收
要买双路EPYC主板，提议接收Gigabyte MZ73-LM0或MZ73-LM1。
张开剩余89%为什么选这个？
因为它有24条内存插槽，能让咱们接入弥漫多的内存。
CPU接收
需要买两个AMD EPYC处理器。
别缅想，不需要买最贵的型号，因为运行AI主要吃内存带宽，是以不错接收低廉少许的EPYC 9115或9015。
内存竖立
这是最要道的部分！
需要买24条32GB的DDR5内存条，所有768GB。
Matthew提议用V-color或Nemix的内存，性价比更高。
其他配件
机箱：选Phanteks Enthoo Pro 2干事器版，因为等闲机箱装不下这样大的主板
电源：海盗船HX1000i就够用了，因为整机功耗其实不到400W
CPU散热器：不错选Arctic Freezer 4U-SP5，难忘买两个，因为有两个CPU
硬盘：莽撞买个1TB以上的NVMe固态硬盘就行
机箱：选Phanteks Enthoo Pro 2干事器版，因为等闲机箱装不下这样大的主板
电源：海盗船HX1000i就够用了，因为整机功耗其实不到400W
CPU散热器：不错选Arctic Freezer 4U-SP5，难忘买两个，因为有两个CPU
硬盘：莽撞买个1TB以上的NVMe固态硬盘就行
第二步：拼装电脑
装配CPU：小心把两个EPYC处理器放进主板的CPU插槽
装配散热器：每个CPU上王人要装一个散热器，驻防要涂导热膏
装配内存：把24条内存条区分插入主板的内存插槽，要驻防标的
其他装配：按等闲电脑的面目装好电源、硬盘等其他配件
装配CPU：小心把两个EPYC处理器放进主板的CPU插槽
装配散热器：每个CPU上王人要装一个散热器，驻防要涂导热膏
装配内存：把24条内存条区分插入主板的内存插槽，ag百家乐三路实战要驻防标的
其他装配：按等闲电脑的面目装好电源、硬盘等其他配件
第三步：软件竖立 系统装配
下载一个Linux系统，比如Ubuntu
制作启动U盘并装配系统
装配完成后进BIOS把NUMA组设为0（这很进攻，能进步性能）
下载一个Linux系统，比如Ubuntu
制作启动U盘并装配系统
装配完成后进BIOS把NUMA组设为0（这很进攻，能进步性能）
装配llama.cpp：
装配llama.cpp：
下载模子文献：
下载模子文献：
翻开浏览器拜谒：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main
翻开浏览器拜谒：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main
找到Q8_0文献夹
下载里面的扫数文献（有700GB那么大）
找到Q8_0文献夹
下载里面的扫数文献（有700GB那么大）
准备责任王人作念完毕，接下来即是慷慨东说念主心的启动时辰：
翻开末端，参预llama.cpp文献夹
输入启动呐喊：
翻开末端，参预llama.cpp文献夹
输入启动呐喊：
恭候模子加载：因为要加载700GB的文献到内存，需要等转眼
初始对话：加载完成后就不错和AI聊天了！
恭候模子加载：因为要加载700GB的文献到内存，需要等转眼
初始对话：加载完成后就不错和AI聊天了！
Roland Fernandez(@rolandalong)问了环球最柔和的问题：
这套系统的运行速率如何？
这套系统的运行速率如何？
Matthew给出了具体数据：每秒能生成6-8个字。天然不算快，但一经够用了！
天然速率不够快，但进攻的是，这套决议让等闲东说念主也有契机亲手玩转顶级AI模子了！
天然要花6000好意思元，但比起企业级的动辄几十万的处理决议，这一经是一个强大的跨越。
One More Thing！
土产货运行时，还有一个神奇用法！
Matthew Carrigan 知道了一个奥秘：在土产货运行Deepseek-R1时，咱们不错观看并参与它的「内心独白」！
这意味着，咱们不错径直编写模子的里面念念考经过，让模子顺着咱们的念念路去走。
从而让咱们更好地线路和舍弃AI的决策经过，这不仅很风趣，可能还很危境！
想试试的一又友ag百家乐回血，飞速整起来吧！
发布于：北京市