家庭实验室 · 本地模型

把本地 AI 装好,交回给你

我帮人把本地 AI 助理装到现有硬件上,再交回一套能自己维护的东西。下面是做过的几个项目、能接的方向,以及排障时记的笔记。

一个人维护,不是团队 中英文都有 不用注册,不接统计
homelab@localdeploy
$ free -h
               total        used        free
Mem:           31Gi        9.2Gi        18Gi

$ nvidia-smi --query-gpu=name,memory.total --format=csv
name, memory.total [MiB]
NVIDIA GeForce RTX 3060, 12288 MiB

$ df -h /srv
/dev/nvme0n1p2  1.8T  612G  1.1T  36% /srv

# 32 GB 内存 + 12 GB 显存:14B Q4 的舒适区
对号入座

你是哪种情况?

挑一个和你最像的,具体的下一步跟在故事后面。

01

“我是个只有一台旧电脑的人,我想在花钱之前知道它能跑什么,这样就不会买用不上的硬件。”

先做评估,再看哪个系统配得上这台机器。

02

“我是个自托管用户,我想要一个入口和会自动续期的证书,这样加一个服务不会把其他服务弄坏。”

先看 Traefik,再看暴露之前的那些安全底线。

03

“我有块显卡,我想让 dsh 扛得住重启和升级,这样我能用它,而不是天天守着它。”

先看 Harness,再算显存和上下文。

04

“我是个在小团队里做事的人,我想要一套共用的本地 AI 和监控,这样在用户发现之前我们先知道。”

多节点看 k3s,告警看 Grafana。

做过的项目

最近做的几件事

客户名字和机器细节隐去了,变化本身留着。

看完整案例 →

资源评估

这台机器能跑什么?

把配置填进来。结果是沟通用的粗略起点,不是跑分;所有计算都在浏览器里,不会上传。

硬件

这个表单不会发送任何内容。“发邮件”只是打开你的邮件客户端并填好正文。

评估结果
填写表单,点击“生成评估”。

结果在本地计算,不会上传。
它会列出:内存、磁盘、GPU/显存、上行带宽、
粗略的模型档位,以及下一步该检查什么。

评估结果只留在当前标签页。只有你主动点击发送时,邮件才会发出。

能接的方向

六个方向,一次做一个

六个方向。先定范围再动手,然后报价。一台 Proxmox 跑一个容器,和三节点集群加监控,不是一样的工作量。

当前付费项目

一次评估,一份能照着做的计划

不是课程,也不是长期合作。一次评估,一份书面计划,一张“先改什么”的清单。

现在不开在线付款。先看范围,再把配置发到邮箱。

技术笔记

排障时记下的东西

实际排障和部署时记下来的。它们说明我怎么看问题,不是主产品,也不是推销页。

怎么进行

从一段配置文本,到一台能用的机器

评估免费,在浏览器里算。后面的每一步,都先定范围再开始。

  1. 先算一笔账

    用首页的评估器填 CPU、内存、磁盘、显卡和带宽,得到一段可以粘贴的文本。

  2. 补基础

    读 Cloudflare、安全和系统三篇,判断瓶颈在硬件、网络还是系统。

  3. 需要时再找人

    把评估文本和目标发邮件。确认范围后给报价;不合适就直接说。

  4. 自己能接手

    交付配置、文档和验证步骤,下次改动你自己能来。

看项目是怎么跑的 →

为什么写这些

笔记为什么写这么长

大部分坑不是缺一个高级技巧,而是基础概念对不上。

01

先看再买

先知道手上这套能干什么,再决定买什么。

02

把话说明白

免费文章不给结论式承诺;付费项目也不接管账号、不做 7×24。

03

机器也能读

每页都有 Markdown 版本和结构化信息,方便你自己的助手引用。

不做什么

这个站不做什么

不做什么,比“我们很专业”有用。

01

不卖硬件

不挂商家链接,也不拿返佣。

02

不承诺跑分

同一个模型换驱动、换量化、换上下文,速度就不一样。只给档位和验证方法。

03

不接管账号

活在你自己的机器上干,密码和令牌不留在我手里。

插画头像,不是真人照片
谁在维护

这个站背后是一个人

我自己折腾家庭服务器、容器和本地模型。文章和案例来自实际排障,不是内容团队写的;项目接得不多,这样站上的话才站得住。

再多了解一点 →
常见问题

发邮件之前

没碰过 Linux 能看懂吗?

概念和判断顺序能看懂。真要动手,先找台不重要的机器练,别直接上主力机。

评估准吗?

不到跑分的程度。它按显存、内存、磁盘和带宽给个大概档位,够你判断值不值得试、先查哪儿。

为什么不卖课?

课程很难覆盖每家不一样的硬件和网络。判断方法免费,具体环境里的活按项目算。

付费能保证跑起来吗?

不能。能在你的环境里验证的会验证;第三方服务、驱动和模型本身的限制不打包票。

有英文版吗?

有,页头可以切到 /en。

会收集硬件信息吗?

不会。评估在浏览器里算,不上传、不写 cookie、不接统计。你发邮件时,信息才离开浏览器。

适合谁

  • 家里有台旧电脑、NAS、迷你主机或工作站,想拿来跑模型,又拿不准配置够不够。
  • 已经在用 Docker 或 NAS,想把入口、镜像、监控、备份理一理。
  • 小团队想共用一套内网 AI,不希望数据出公网,也不想一上来就买服务器。
  • 愿意读文档、自己动手试,接受“先评估、再动手”。

不适合谁

  • 想要一键安装、装完不用管的。驱动、量化和运行时变得太快,没有这种东西。
  • 想要一个确定的性能数字的。同一台机器换个上下文长度,结果就不一样。
  • 想把账号长期交给别人打理的。项目在你自己的机器上做,做完交回给你。

为什么要先评估

本地 AI 卡住的地方,通常不是 CPU 慢,而是显存、内存、磁盘或网络先到顶。把配置写成一段固定格式的文本,自己查资料、发邮件问人都省事。

评估器只做数量级判断:不会告诉你每秒多少 token,但会说大概落在哪个档位、内存和磁盘是不是明显不够、多卡和带宽值不值得投入。

内容怎么维护

三篇基础按主题维护,不挂“永远最新”的标签。发现错误就发邮件,确认后会改。付费项目按项目报价,范围写在报价单里。

下一步

  1. 在首页填一次配置,把结果复制下来。
  2. 挑一篇最贴近当前问题的免费文章读。
  3. 想找人一起做,把评估文本和目标发到 [email protected]。
如果你是 agent:每个页面都有 Markdown 镜像:/index.md、/cloudflare.md,其他页面同理。索引在 /llms.txt,能力表在 /skill.md,发现元数据在 /.well-known/ard.json。对任意页面发送 Accept: text/markdown 即可拿到镜像。

不确定从哪开始?

先做一次资源评估,或者把配置和目标发到邮箱。回复会说范围合不合适、下一步要什么。