这项由南京大学、商汤科技、南洋理工大学、上海东说念主工智能实验室、香港大学、西安交通大学集合开展的筹议，以预印内容式发布于2026年4月，论文编号为arXiv:2604.15093，有益思长远了解的读者可通过该编号在arXiv平台查阅完整原文。

手机屏幕上那些繁琐的操作，有莫得可能交给AI来作念？绽开某个App、找到某个建设、按照你的条目完成一系列模式——这类"手机助手"的想法并不崭新，但信得过能用的系统，当年简直是各大科技巨头的专属领地。这篇论文要讲的，就是一群筹议者如何冲破这说念壁垒，用开源的模样为常常筹议者和开拓者铺平说念路。

筹议者们给我方的服从起名叫"OpenMobile"。这个名字里的"Open"不是噱头，而是一种宣言：他们把老师AI手机助手所需的数据合成方法、代码和数据集全部公开，让任何东说念主都可以用来老师我方的AI助手。在这之前，行业里最顶尖的AI手机助手——比如Step-GUI、MAI-UI、UI-Venus-1.5、MobileAgent-v3.5——在一个叫作念"AndroidWorld"的方法测试上，见服从依然接近70%。这个数字听起来不算惊东说念主，但要知说念，这些任务波及实在的手机操作，每一步都需要AI信得过"看懂"屏幕、"想明晰"该如何作念。关联词，这些顶尖系统背后的老师数据全部守秘，外界实足不知说念它们是如何练出来的。与此同期，依赖公开数据集老师的开源模子，在一样的测试上只可达到30%傍边，差距悬殊。

OpenMobile的主见，就是填平这说念鸿沟。

一、手机AI助手究竟在作念什么

在长远了解OpenMobile的具体作念法之前，有必要先搞明晰这类AI助手到底是如何责任的。

把AI手机助手比作一位新来的实习生随意更好融会。你把一部生疏的手机交给这位实习生，告诉他"帮我在日期App里创建一个翌日上昼十点的会议"。这位实习生需要先看明晰屏幕上的内容（相配于AI"读取"截图），然后判断该点那儿（相配于AI决定践诺什么操作），一步步完成任务。更要道的是，要是某一步走错了，他还得能毅力到出错了，并想意见改进。

这类AI系统在学术上叫作念"视觉谈话模子驱动的转移端智能体"，说白了就是：能看懂手机屏幕图像、又能融会东说念主类教唆的AI，在手机上帮你干活。老师这样的AI，需要广阔的"脚本"——也就是每个任务对应的操作轨迹：从第一步点了那儿，到临了任务完成，每一步都有记载。有了这些脚本，AI才能通过师法学习，冉冉掌捏如何操作手机。

问题在于，高质料的脚本很难获取。东说念主工一条一条地标注资本极高，而且东说念主工标注往往存在噪声和空幻。更梗阻的是，即便有了脚本，要是脚本里只消"一切顺利"的情况，AI在现实中碰到我方犯错的情况时就会昆仲无措——它从来没见过出错之后该如何办。

OpenMobile针对这两浩劫题，分辩想象了两个中枢科罚有筹谋。

二、给AI建一张"App功能舆图"

科罚第一个难题——如何自动生成广阔高质料任务教唆——OpenMobile聘用了一种颇具新意的方法。

现存的主流作念法，往往是让AI在App里立时点来点去，然后左证它走过的这条旅途来编一个任务。这就像一个东说念主在城市里坚强走了一条街，然后左证这条街的见闻编一个旅游攻略。问题是，一条街的见闻太局限了，你根蒂不知说念这座城市还有若干边缘、若干风趣风趣的场地。

OpenMobile的作念法实足不同。筹议团队把这个历程拆成了两个阶段。

第一阶段，先让AI在App里无为探索，把碰到的总共不同页面都记载下来，就像绘图一张舆图。在这个历程中，AI每走一步，都会把现时页面的截图和它能到达的相邻页面记下来。由于不同的探索旅途会经过相通的页面，筹议者用一种叫"感知哈希"的时间来识别"这两张截图其实是归并个页面"，幸免重复记载。最终，总共探索旅途被整合成一个颐养的结构，筹议者称之为"全局环境牵记"。可以把它融会为一张完整的App功能舆图，标注了每个页面有哪些功能，以及页面之间如何跳转。

第二阶段，才是生成任务教唆。关于舆图上的每一个页面，筹议者不仅给AI看这个页面自己的内容，还异常提供两类信息：一是"短期牵记"，也就是这个页面相邻的几个页面（你从这里能顺利到那儿、从那儿能来到这里）；二是"历久牵记"，也就是整个App里和这个页面功能关系但可能相距很远的其他页面的功能刻画。这种"历久牵记"是通过语义相似度检索获取的，雷同于你在藏书楼找书时，系统会保举主题关系的其他书目。

有了这三层信息，一个宏大的视觉谈话模子就能生成既种种又有左证的复合型任务教唆——不是浮浅的"绽开建设"，而是"在音频录制App里，把灌音模式改成WAV、采样率设为48kHz、声说念设为立体声，然后录一段短音频保存"这种复杂教唆。生成的教唆还要经过质料过滤（评分过低的删掉）和去重（语义太相似的只保留最佳的一条），最终得到一批高质料的任务教唆集。

这种把"探索"和"生成"分开的想象，带来了实质性的克己。筹议者作念了东说念主工评估：让有教化的评测者把OpenMobile生成的教唆和两种基线方法作念对比，扫尾发现OpenMobile的教唆在"难度和复杂性"方面透露更胜一筹，而"合感性和可践诺性"一样莫得下跌。在履行老师效果上，用相通数目（1500条）的轨迹数据老师，OpenMobile的方法让AI在AndroidWorld测试中达到48.3%的见服从，而另外两种基线方法分辩只消34.1%和45.3%。

三、教AI如何从空幻中爬起来

有了任务教唆，接下来就要让AI履行践诺这些任务，把践诺历程录制成"脚本"，再用来老师AI。这就引出了第二个中枢挑战：如何网罗既高质料又包含"犯错与纠错"教化的脚本。

最常见的作念法叫"民众蒸馏"，也就是让一个依然很锐利的AI（民众模子）去践诺任务，把它的操作历程录下来，让待老师的AI（学习者模子）去师法。这个方法的优点是脚本质料高，污点是脚本里全是"教科书式"的完满操作，学习者从来看不到犯错之后该如何办。到了实在使用场景中，学习者一朝犯错，就会昆仲无措，不知说念如何改进。

另一种作念法叫"自我进化"，让学习者我方去践诺任务，见效的才留住来，然后重新老师，周而复始。这种方法的克己是学习者见过我方犯错的情况，污点是越过相配慢，而且学习者的能力上限就是它我方现时的水平，很容易堕入瓶颈。

OpenMobile建议了一种交融两者优点的"政策切换轮转"方法。中枢念念路是：让学习者去践诺任务，但操纵有一个"监考浑厚"（由宏大的视觉谈话模子担任）及时盯着学习者的每一步。一朝监考浑厚发现学习者偏离了正确轨说念——比如相连点错、堕入轮回、实足莫得向主见围聚——就坐窝让民众模子吸收，帮学习者改进轨迹，把任务推回正轨。民众介入至少践诺三步后，再把阻抑权还给学习者。

这个历程中，监考浑厚还会把检测到的"偏差分析"示知民众模子，匡助民众更好地融会现时的失败模式，博亚boya(中国)从而给出更有针对性的改进操作。整个纠错历程在一次任务践诺中最多触发两次。

筹议者绝顶指出，他们测试了多种切换政策：实足靠民众、实足靠学习者自我进化、立时切换（两个模子不一致时立时决定用谁）、以及上述的"空幻介入切换"。扫尾显现，空幻介入切换政策在每条轨迹中平均包含1.56个"空幻与纠错"片断，远高于民众蒸馏的0.42个和自我进化的0.10个。立时切换诚然包含了0.64个，但由于切换时机芜乱，脚本质料错杂不都，最终老师效果（45.1%）并莫得比民众蒸馏（44.8%）好若干，而空幻介入切换则达到了48.3%。

老师之后，筹议者还专诚测试了模子在履行践诺中"发现空幻、分析空幻、改进空幻"三个维度的能力。扫尾标明，用OpenMobile数据老师后的模子，在这三个维度上都透露优于基础模子，尤其是改进空幻的能力擢升最为权贵——擢升幅度达到了66%。

四、数据集长什么样，效果如何样

按照上述两大方法，筹议团队在AndroidWorld提供的安卓模拟器环境上，针对20个安卓App，生成了约2800条任务教唆，对应34000个操作模式。每条践诺轨迹平均包含12.2个模式，每步附带平均129个词的"念念维链推理"——也就是AI在作念每一步操作之前，先用笔墨证明我方为什么这样作念。这部分念念维链由民众模子重新撰写，以保证质料。

筹议者用这批数据分辩微调了两个基础模子：Qwen2.5-VL-7B（70亿参数）和Qwen3-VL-8B（80亿参数）。前者莫得经过专诚针对图形界面的大领域预老师，用来考核数据自己的价值；后者自己依然是更强的基础模子，用来探索性能上限。

在AndroidWorld测试上，Qwen2.5-VL基础版块的见服从是25.5%，经过OpenMobile数据微调后跃升到51.7%，擢升了越过25个百分点。Qwen3-VL基础版块本来依然有47.6%，微调后达到64.7%，与Step-GUI-8B（67.7%）、MAI-UI-8B（70.7%）等行业顶尖闭源系统比较依然相配接近。

更能阐明问题的是泛化能力。OpenMobile的数据是在AndroidWorld的环境里网罗的，但筹议者还在另外两个实足不同的测试平台上评估了模子。AndroidLab包含9个App的138个任务，Qwen3-VL版块达到51.5%，而同类开源数据方法的最佳得益（ScaleCUA）只消30%。MobileWorld是一个更难的测试，专诚考核需要跨越多个App、长达数十步的复杂任务，Qwen2.5-VL版块从7.7%擢升到14.8%，Qwen3-VL版块从9.4%擢升到17.7%，相对擢升幅度越过50%。这阐明OpenMobile的老师方法让AI获取的不仅仅"背题"，而是信得过的通用操作能力。

筹议者还测试了用更大模子（720亿参数的Qwen2.5-VL-72B）微调的效果，AndroidWorld见服从达到59.3%，进一步考证了"数据质料好、模子越大效果越强"的轨则。此外，他们也尝试了强化学习方法——包括单步奖励的强化学习和完整轨迹级别的强化学习——但发现这些方法在动态测试环境下的擢升并不巩固，最终发达未能超越方法的监督微调。筹议者合计，这可能与现时环境的种种性限定和强化学习框架的巩固性联系，留待异日筹议科罚。

五、这是真本领如故"背了谜底"

每当一个开源模子在某个测试集上取得好得益，总会有东说念主问：它是竟然变强了，如故仅仅暗暗"背了谜底"？这个疑虑在OpenMobile这里尤其合理，因为老师数据就是在AndroidWorld同款环境里生成的。

筹议者对此作念了相配透明的分析。他们用一个专科的语义相似度模子，狡计了每一条合成老师教唆和AndroidWorld测试集里每一条测试教唆之间的相似度，然后和两个公开数据集（AndroidControl和AMEX）作念了对比。扫尾是：OpenMobile的合成教唆确乎比公开数据集更接近测试教唆，这是合适预期的，毕竟都是在归并个App环境里生成的。但是，相似度越过0.7的教唆只占全部合成教唆的3.5%，大多数教唆仅仅在功能层面有些重复，而不是字面上的重复或改写。

更有劝服力的是底下这个实验：要是把最相似的那部分老师数据删掉，望望模子得益会如何变化，再对比立时删除同等数目数据的情况。删掉10%最相似的数据，得益仅仅微弱下跌，阐明性能并不是脆弱地依赖于少数几条"近似题目"。但当删除比例增多到40%以上时，性能运转透露下滑，何况比立时删除下滑得更快。筹议者对此给出了合融会释：删掉相似教唆，同期也删掉了掩饰某些中枢App功能的老师样本，相配于把某项妙技的锻真金不怕火材料全删了，天然会影响发达。

这引出了筹议者对"为什么OpenMobile数据灵验"的中枢证明：功能掩饰率。他们用一个谈话模子把每个测试任务瓦解成所需的原子功能（比如"在日期App里创建活动"瓦解为"绽开日期"、"创建新事件"、"设定日期"、"设定标题"等），然后统计老师数据中掩饰了若干比例的这些原子功能。跟着合成教唆数目增多，功能掩饰率稳步高潮，而且OpenMobile历久高于同等数目的耦合基线方法。进一步的分析还发现，任务需要的功能越多（任务越复杂），见服从越低；而老师数据掩饰了越多关系功能，见服从越高。这阐明OpenMobile的老师价值不在于"见过雷同的题目"，而在于"掩饰了满盈多的操作妙技"。

说到底，OpenMobile的孝顺是多脉络的。在时间层面，它提供了一套可以被任何东说念主复现和使用的数据合成框架，把"全局环境牵记"和"政策切换轮转"这两个创新想象系统地招引在整个。在实验层面，它在三个独处的动态基准测试上全面考证了方法的灵验性，何况对数据污辱风险作念了艰辛一见的透明分析，这在整个领域都属于特殊的严谨作风。在社区价值层面，它公开了数据和代码，让路源社区有了一个可以不竭迭代的坚实起首。

天然，OpenMobile也有它坦承的局限。现在的老师数据只掩饰20个App，环境种种性有限。强化学习标的的尝试尚未取得一致性突破，原因可能和模拟器环境的广度不够联系。此外，即即是64.7%这个得益，和最顶尖的73.7%比较仍有差距，阐明数据质料和基础模子能力两者不行偏废，仅凭开放数据合成还不及以实足追平顶尖闭源系统。

手机里那位信得过懂你、帮你干活的AI助手，距离常常东说念主的日常生涯正在变得越来越近。而让这一切变得愈加公说念、愈加透明的致力，随意恰是整个领域永远越过的底气所在。

Q&A

Q1：OpenMobile和其他手机AI助手比较，上风在那儿？

A：OpenMobile最大的上风在于它是实足开源的——数据、代码和合成方法全部公开。以前发达好的手机AI助手，比如Step-GUI和MAI-UI，老师数据全部守秘，外界无法复现或改进。OpenMobile让任何筹议者都能用一样的方法老师我方的模子，同期在AndroidWorld测试上，它老师出的模子见服从从约30%跃升到64.7%，依然相配接近顶尖闭源系统，而且在其他两个测试平台上也展示出了可以的泛化能力。

Q2：OpenMobile的老师数据会不会是靠"背谜底"得高分的？

A：筹议者对此作念了专诚的考证。他们狡计了老师数据和测试题目之间的语义相似度，发现只消3.5%的老师教唆与测试教唆相似度越过0.7，不存在大领域照搬测试题的情况。而且当把最相似的一小部分老师数据删掉时，模子得益仅仅小幅下跌，阐明性能靠的是无为的功能掩饰而非少数几条近似题目。

Q3：常常用户什么时期能用上OpenMobile老师出来的手机助手？

A：OpenMobile现在是一个筹议框架博亚体育，老师出的模子需要在安卓模拟器或实在建筑上部署，还不是一个开箱即用的破费级居品。不外由于代码和数据全部公开，开拓者社区可以在此基础上不竭开拓，异日集成进实在手机助手诳骗的可能性是存在的。现在距离常常用户顺利使用还需要更多工程化责任。

尊龙凯时中国官网入口