Apple详细介绍了Overton AI开发工具其模型处理了“数十亿”的查询

无论在何种情况下，建造，监控和改进机器学习系统都不会在公园内散步。数据科学家和工程师必须监控复杂的应用程序中的细粒度质量和诊断错误，更不用说现场矛盾或不完整的语料库。为了有所缓解开发负担，Apple开发了Overton，这是一个旨在通过提供一系列新颖的高级抽象来自动化AI系统生命周期的框架。例如，鉴于“美国总统有多高”的问题，Overton生成了一个能够提供答案的模型。(它目前仅支持文本处理，但Apple正在对图像，视频和多模式应用进行原型设计。)

苹果研究人员表示，Overton已被用于生产，以支持近实时和后台处理中的“多个应用程序”，在那个时候，基于Overton的应用程序以多种语言回答了“数十亿”的查询并处理了“数万亿”的记录。“[愿景]是将开发人员转移到......更高级别的任务而不是更低级别的机器学习任务。[E]工程师可以在不编写任何代码的情况下构建基于深度学习的应用程序，“ 一篇描述Overton 的研究论文的共同作者写道。“Overton [可以]自动化许多传统的建模选择，包括深度学习架构...... [它允许工程师] ......通过操纵数据文件来构建，维护和监控他们的应用程序。”

Overton将包含两个元素的模式作为输入：数据有效负载描述用于训练新的或现有AI模型的输入数据，模型任务描述模型需要完成的任务。此外，模式定义了目标机器学习模型的输入，输出和粗粒度数据流，不是说明模型计算的内容，而是有效地计算模型的计算方式。

Overton将模式编译为许多版本的AI开发框架，如Google的TensorFlow，Apple的CoreML或Facebook的PyTorch，然后搜索适当的架构和超参数(可调变量直接影响模型的训练)。在监控方面，Overton允许工程师提供与各个数据点相关的标签，指出哪些应用于培训，测试和开发。

Overton采用其他有用的技术，如模型切片，使用户可以识别对产品至关重要的输入数据子集，并将其用作增加表示和减少偏差的指南。此外，它本身支持多任务学习，这样Overton可以同时预测所有模型的任务(例如，词性标注或打字)。