ag百家乐回血 手把手教诲:40000 元在家跑顶级DeepSeek R1的完满决议!

发布日期:2025-02-02 20:57    点击次数:166

在家运行670B参数超等AI DeepSeek R1 的决议来了!ag百家乐回血

Hugging Face工程师Matthew Carrigan公布了一套超留心的竖立指南,让等闲东说念主也能用6000好意思元在家运行DeepSeek R1这样的超大模子,对应东说念主民币则约4万元。

现时,我来带环球一步一步望望该怎样作念。

第一步:准备硬件

这套决议最让东说念主振作的点是:不需要买昂然的显卡!

咱们只需要购买以下配件:

主板接收

要买双路EPYC主板,提议接收Gigabyte MZ73-LM0或MZ73-LM1。

张开剩余89%

为什么选这个?

因为它有24条内存插槽,能让咱们接入弥漫多的内存。

CPU接收

需要买两个AMD EPYC处理器。

别缅想,不需要买最贵的型号,因为运行AI主要吃内存带宽,是以不错接收低廉少许的EPYC 9115或9015。

内存竖立

这是最要道的部分!

需要买24条32GB的DDR5内存条,所有768GB。

Matthew提议用V-color或Nemix的内存,性价比更高。

其他配件

机箱:选Phanteks Enthoo Pro 2干事器版,因为等闲机箱装不下这样大的主板

电源:海盗船HX1000i就够用了,因为整机功耗其实不到400W

CPU散热器:不错选Arctic Freezer 4U-SP5,难忘买两个,因为有两个CPU

硬盘:莽撞买个1TB以上的NVMe固态硬盘就行

机箱:选Phanteks Enthoo Pro 2干事器版,因为等闲机箱装不下这样大的主板

电源:海盗船HX1000i就够用了,因为整机功耗其实不到400W

CPU散热器:不错选Arctic Freezer 4U-SP5,难忘买两个,因为有两个CPU

硬盘:莽撞买个1TB以上的NVMe固态硬盘就行

第二步:拼装电脑

装配CPU:小心把两个EPYC处理器放进主板的CPU插槽

装配散热器:每个CPU上王人要装一个散热器,驻防要涂导热膏

装配内存:把24条内存条区分插入主板的内存插槽,要驻防标的

其他装配:按等闲电脑的面目装好电源、硬盘等其他配件

装配CPU:小心把两个EPYC处理器放进主板的CPU插槽

装配散热器:每个CPU上王人要装一个散热器,驻防要涂导热膏

装配内存:把24条内存条区分插入主板的内存插槽,ag百家乐三路实战要驻防标的

其他装配:按等闲电脑的面目装好电源、硬盘等其他配件

第三步:软件竖立 系统装配

下载一个Linux系统,比如Ubuntu

制作启动U盘并装配系统

装配完成后进BIOS把NUMA组设为0(这很进攻,能进步性能)

下载一个Linux系统,比如Ubuntu

制作启动U盘并装配系统

装配完成后进BIOS把NUMA组设为0(这很进攻,能进步性能)

装配llama.cpp:

装配llama.cpp:

下载模子文献:

下载模子文献:

翻开浏览器拜谒:https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

翻开浏览器拜谒:https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

找到Q8_0文献夹

下载里面的扫数文献(有700GB那么大)

找到Q8_0文献夹

下载里面的扫数文献(有700GB那么大)

准备责任王人作念完毕,接下来即是慷慨东说念主心的启动时辰:

翻开末端,参预llama.cpp文献夹

输入启动呐喊:

翻开末端,参预llama.cpp文献夹

输入启动呐喊:

恭候模子加载:因为要加载700GB的文献到内存,需要等转眼

初始对话:加载完成后就不错和AI聊天了!

恭候模子加载:因为要加载700GB的文献到内存,需要等转眼

初始对话:加载完成后就不错和AI聊天了!

Roland Fernandez(@rolandalong)问了环球最柔和的问题:

这套系统的运行速率如何?

这套系统的运行速率如何?

Matthew给出了具体数据:每秒能生成6-8个字。天然不算快,但一经够用了!

天然速率不够快,但进攻的是,这套决议让等闲东说念主也有契机亲手玩转顶级AI模子了!

天然要花6000好意思元,但比起企业级的动辄几十万的处理决议,这一经是一个强大的跨越。

One More Thing!

土产货运行时,还有一个神奇用法!

Matthew Carrigan 知道了一个奥秘:在土产货运行Deepseek-R1时,咱们不错观看并参与它的「内心独白」!

这意味着,咱们不错径直编写模子的里面念念考经过,让模子顺着咱们的念念路去走。

从而让咱们更好地线路和舍弃AI的决策经过,这不仅很风趣,可能还很危境!

想试试的一又友ag百家乐回血,飞速整起来吧!

发布于:北京市