▼

Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态模型。它是专门为了增强对移动端用户界面（UI）屏幕的理解而定制的，配备了引用、定位和推理功能。该模型能够“看懂”手机屏幕上的内容并执行任务，聚焦于移动端、关注用户交互。

论文链接：https://arxiv.org/pdf/2404.05719.pdf

1. 多模态理解能力：Ferret-UI展现了高水平的图文关联能力，尤其是在理解用户界面屏幕并与其有效交互方面，弥补了现有大部分通用多模态大模型的不足。
2. UI任务执行：Ferret-UI在多数基础UI任务上展现出了优越的性能，特别是在与iPhone相关的任务上，其性能超过了Ferret和GPT-4V。
3. Anyres技术：为解决移动设备UI屏幕长宽比多样化问题，Ferret-UI引入了“任何分辨率”技术，使其能够适应不同长宽比的屏幕，提高模型对UI元素的细节识别能力。

• 移动端用户交互：Ferret-UI可用于增强智能手机和其他移动设备上的用户交互体验，通过理解用户界面来执行复杂的UI任务。
• 自动化测试：Ferret-UI可以应用于自动化测试领域，自动识别UI中的元素和功能，提高测试效率和准确性。
• 辅助设计：对于UI设计师，Ferret-UI能够提供界面元素的自动识别和分类，辅助设计过程中的决策。

Ferret-UI通过其先进的多模态理解能力和专注于移动端的设计，展现了在UI理解和交互方面的强大潜力。随着技术的进一步发展和应用，Ferret-UI有望在提升移动设备用户体验方面发挥重要作用。

▼