拆掉Wii遥控器的内脏,用35KB AI模型控制智能家居
创客把Wii遥控器掏空,换上ESP32-S3和摄像头,让仅35KB的量化神经网络在本地识别家电,再经MQTT交给Home Assistant开关设备。
Wii遥控器如今基本算是博物馆里的展品——它来自那个“体感操作将改变一切”的年代。结果它真正改变的事情是:让无数壁橱里多了一堆失去用途的硬件。
YouTube创作者 GreatScott! 给其中一只找到了更好的归宿。这个改造把大部分原装内部零件拆掉,换成一块 Seeed Studio XIAO ESP32S3 Sense 开发板、一个前置摄像头模块、一块锂聚合物电池,以及一枚用于反馈的小型压电蜂鸣器。从外观上看,它基本还是一副普通智能家居遥控器的样子。
图片来源:YouTube – GreatScott!
指向、按下、等一声提示音
整个交互被压缩成两个按键加一段1.4秒的等待。
把遥控器对准某件家电,按下 Home 键触发分类,然后等大约 1.4 秒听到蜂鸣声,再按 A 键,激活系统认为你正瞄准的那台设备。
摄像头采集一帧 96×96 像素的图像,交给完全跑在 ESP32 上的量化神经网络。这个模型只有 35 千字节。没有云端,客厅画面不会被发到任何地方。指令通过 MQTT 送到 Home Assistant,再由它触发对应的 Shelly 智能继电器或插座。需要注意的是,这些家电指令最终仍要靠 Wi-Fi 才能抵达 Home Assistant。
用一千多张照片训练出来的“大脑”
数据集由 GreatScott! 亲手采集,覆盖不同房间与不同光照条件,拍了上千张照片。
这些图像被分成 七个类别,其中包含一个“未知”类,用来表示系统应当忽略的场景。训练在 80/20 的训练集与验证集划分上跑了大约 50 轮。
表现最好的模型在预留的验证图像上达到 87.78% 的准确率。对一个跑在微控制器上、体积仅 35KB 的网络来说,这确实是相当扎实的成绩——不过验证集准确率和真实世界的可靠性毕竟是两回事。
概念在现实中暴露的短板
实测揭示了模型“看世界”的方式里固有的结构性问题。
当光照变化、家具挪动,或者两件相似的家电同时出现在画面里时,成功率会降到大约 三分之二。而这个问题并非偶然。
这个模型做的是整幅场景的分类,而不是检测画面中的特定物体。哪怕目标家电一动没动,只要背景里沙发换了位置、台灯换了一盏,系统就可能认错。场景分类与目标检测之间的这道鸿沟,正是“令人印象深刻的演示”与“能天天用的东西”之间最大的一段距离。
这个作品依然值得占有一席之地
在改造硬件上本地运行边缘 AI,指向的是一件值得关注的事。
一个 35KB 的模型离线运行在回收来的消费级硬件上,即便可靠性只有三分之二,这种组合依然很有说服力。创客社区用 ESP32 开发板复活 Wii 遥控器、再接入 Home Assistant 已经有一段时间了——在大家眼里,它的外壳是一个出乎意料地符合人体工学的容器,而不是电子垃圾。
GreatScott! 的版本在这条脉络上加了一颗摄像头和一个神经网络。如果下一版改用目标检测取代场景分类,可靠性差距会显著缩小;在真正开关设备之前先加一道置信度阈值,也会更有帮助。这些都不是当前已实现的功能,而是合乎逻辑的下一步。
就目前而言,这是一个聪明、并且对自己的局限相当诚实的可行性验证。它不会取代你手上真正的遥控器,但它会让你盯着壁橱里那只落灰的旧遥控器,开始琢磨它还能变成什么。
讨论
0 条评论