爱意满满的作品展示区。
codeface
14.49D

我也做了一个可以操控手机的硬件 Agent

  •  
  •   codeface · Jul 29 · 3642 views
    This topic created in 98 days ago, the information mentioned may be changed or developed.

    看到 https://www.v2ex.com/t/1230118 中 @fzuccq 分享了他的手机 Agent 硬件方案,我也来介绍一下最近做的同类型项目。

    我的方案是利用手机的 C 口转 HDMI 投屏获取屏幕、USB HID 模拟鼠标键盘进行操作。

    目前项目代码也是完全开源的状态: https://github.com/AidenAI-IO/aiden-firmware

    自组硬件的成本大约在 400 元左右,核心组件如下:

    • Type C HUB 转 HDMI 、USB
    • Pico Zero RV1106G3 (核心处理单元)
    • HDMI 转 CSI 模块
    • 8 欧 2W 扬声器
    • 2.4g WiFi FPC 天线
    • HDMI 公对公转换头(用于连接 HUB 和 HDMI 转 CSI 模块)
    • CSI 连接软排线
    • ASPPRO 2.0 模块(可选,用作关键词唤醒)
    • 按键开关(可选,唤醒的另一种方式)

    Supplement 1  ·  Jul 31
    这套方案的优点是配置简单,基本上插入手机 C 口就能使用;
    同时可以做到低功耗和小型化,未来可以做成一个手机磁吸外设随身携带。
    20 replies  •  2026-08-01 10:37:07 +08:00
    KeinHong
    KeinHong
    Jul 29
    2
    这个支持 iPhone 手机么
    codeface
    codeface
    OP
    Jul 29
    3
    @KeinHong 支持,需要开启 Assistant Touch 。
    关于 HDMI 获取屏幕的部分,这套硬件在 iPhone 上的兼容性反而还强于安卓,苹果可以稳定获取 1080p 分辨率的画面,一些安卓只能到 720p 。
    KeinHong
    KeinHong
    Jul 29
    4
    @codeface #3 👍不错啊
    zhouyg
    zhouyg
    Jul 29
    5
    这个硬件是完全独立运行的吗,其内部的操控逻辑怎么设置到硬件里的?
    codeface
    codeface
    OP
    Jul 30
    6
    @zhouyg 是的,可以完全独立运行:设备本身运行完整的 Linux 固件,内置封装好的 C++ 硬件服务( frame_service 、audio_service 、hid_server )和 Go Agent daemon ,Agent 通过大模型进行推理并直接驱动 USB HID 操控外部设备,不需要额外的主控电脑常驻运行。
    v1
    v1
    Jul 30
    7
    @zhouyg 群控小型化……想体验差不多效果但是懒得整硬件的话。闲鱼 1 毛钱买个群控软件+小主机😀
    shuang
    shuang
    Jul 30
    8
    模拟鼠标键盘,安全性咋样,会不会容易被检测出来
    withrock
    withrock
    Jul 30
    9
    @codeface 大模型的推理是通过 RV1106 内置的算力推理的吗,还是需要联网对接外部 api?
    imqiyue
    imqiyue
    Jul 30❤️1
    10
    楼主能力好强,支持一下
    codeface
    codeface
    OP
    Jul 30
    11
    @withrock RV1106 的 NPU 还是很弱,暂时无本地可能性,需要联网对接外部 API 。
    kevan
    kevan
    Jul 31 via Android
    12
    midscene.js 了解一下
    easylee
    easylee
    Jul 31
    13
    楼主海外居住吗?视频发音听着不错。
    coolcoffee
    14
    看了楼主的方案,我打算把我家吃灰的 RK3588 小主板改造一下,毕竟它还原生支持 hdmi 输入和板载 OTG
    codeface
    codeface
    OP
    Jul 31
    15
    @kevan 谢谢,midscene.js 也很不错,之前也考虑过支持 WebDriverAgent 作为 iOS 上的备选方案。
    不过现在这套方案配置起来会更简单,不需要依赖 xCode 。
    codeface
    codeface
    OP
    Jul 31
    16
    @easylee 谢谢,朋友帮忙录的,确实在海外待过。
    codeface
    codeface
    OP
    Jul 31
    17
    @coolcoffee RK3588 确实是不错的方案,除了功耗会比 RV1106 稍高一些。后续打算做成小型化磁吸设备,使用手机 C 口或者内置电池供电。
    codeface
    codeface
    OP
    Jul 31
    18
    @shuang #8 通过软件模拟的鼠标键盘和接入一个真实的鼠标键盘没有差异,但 App 确实可以有办法区分键盘和触控事件是否来自外部设备。
    不过经过我们的测试,现阶段还没有哪款 App 对外设操作进行了限制。
    gainsurier
    gainsurier
    Jul 31 via iPhone❤️1
    19
    最近众筹的的 comet q 和 nanokvm go+ op 可以看下
    jtacm
    jtacm
    Aug 1
    20
    如果一旦手机 app 对来自鼠标/键盘的操作打上“可疑”标签,或者记入“可疑”打分 scoring ,那么这个方案就很难了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1384 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 20:17 · PVG 04:17 · LAX 12:17 · JFK 15:17
    ♥ Do have faith in what you're doing.