WeRide选择Weka管理其AI数据管道
WekaIO(Weka)宣布,拥有自动驾驶技术的智能移动公司WeRide选择了WekaIO,这是来自WekaIO的世界上最快的共享并行文件系统,用于管理其从边缘到核心再到云的人工智能(AI)数据管道。WeRide使用混合模型实施WekaFS,以使用商用基于Intel x86的服务器以及在Amazon Web Services(AWS)云中在本地管理计算和存储资源。WeRide之所以选择WekaFS,是因为它提出了与硬件无关的解决方案,该解决方案也是最具成本效益的,可以为公司的GPU场提供高带宽I / O,以实现混合工作负载的高性能。
WeRide是一家多元化的AI初创公司,致力于为4级(L4)自动驾驶汽车进行高级研发(R&D)周期,并与支持通勤机械人服务的运输平台提供商建立合作伙伴关系。该公司每天处理大数据(PB)级别的数据,这些数据是通过映射robotaxi服务的运营设计域而生成的大型视频和图像文件。这些图像是从超过200万公里的行驶距离中收集的。WeRide生成数百万条高质量的标签数据,这些数据在核心进行了注释,并由基于云的群集上的AI模型进行了训练,然后反馈给本地AI引擎。
WeRide需要一种经济高效的解决方案,该解决方案应提供高I / O带宽,以使GPU场保持数据饱和。它还必须为具有大量元数据的混合工作负载提供高性能,使组织能够实现混合实施以最大化其投资,并且与硬件无关,以实现灵活和可扩展的扩展。WeRide选择了Weka,因为它满足了上述每一项要求,并提供了技术支持专业知识和积极的客户参考。
“我们已经建立了一个GPU场,我们需要一个高速数据管道来馈送它,而不会显着影响我们的底线。在对包括开源和HDFS在内的几种替代解决方案进行了广泛的成本分析和评估之后,Weka脱颖而出,成为领导者。” WeRide工程运营负责人Paul Liu说。“ Weka是我们硬件采购模式的最佳选择,并且是实现我们的目标使存储成为用户的实用工具的理想选择-完全与硬件无关,并且对最终用户透明。Weka的客户参考证明了产品的成熟,而通过将我们引入AWS证明了技术支持团队的宝贵价值。”
除了为需要大量数据的GPU提供高I / O带宽以使其充分利用外,WekaFS是世界上最快,可扩展性最强的文件系统,无论是在本地还是在公共云中托管,都非常适合数据密集型应用程序。这是一个POSIX文件系统,可以随着GPU服务器场的增长线性地扩展性能,因此WeRide不必在将来的扩展中就降低性能。而且,由于WeRide在GPU服务器上以融合模式运行WekaFS,并从所有本地连接的NVMe驱动器创建了一个名称空间,因此他们无需为本地群集投资昂贵的硬件。
“ Weka软件使WeRide可以最大程度地利用其对GPU的投资,同时实现所需的基础架构成本效率。此外,借助我们的文件系统,他们可以从工作负载的统一性和本地群集与公共云之间的移动中受益,” WekaIO联合创始人兼首席执行官Liran Zvibel说。“ Weka正在为那些需要灵活的纯软件存储解决方案的客户解决大问题,该解决方案提供了所有传统的企业功能,同时还具有大规模的卓越性能。像WeRide这样的创新者分享了我的愿景,那就是使存储实用程序在那里就可以使用,并且可以为组织中任何需要在可预测的时间内需要它的人提供数据,无论他们身在何处。”
“数据中心在不断发展,融合了加速计算技术和云策略以支持诸如AI或机器学习之类的新工作负载。WekaFS经过云优化和架构设计,可为支持GPU的计算集群提供高带宽I / O,在实现数字转换方面发挥着重要作用。我们很高兴成为WeRide的Weka软件许可证的解决方案提供商,以推动他们的AI工作流程。” WIN领先合作伙伴Dasher Technologies的CTO Chris Saso补充说。