专注于数字技术的商业观察者
登录×
公司
2025-03-10

Hammerspace:从漫画走出来的数据存储革命

时间: 2025-03-10 编辑:

在当下AI大模型训练的竞速赛道上,数据的存取效率正成为影响算力发挥的关键因素。随着Llama 2、Llama 3...

在当下AI大模型训练的竞速赛道上,数据的存取效率正成为影响算力发挥的关键因素。随着Llama 2、Llama 3等大型模型的训练需求激增,企业对于存储架构的要求不再只是容量和可靠性,而是更强调数据访问的实时性、全球协同的能力以及对GPU利用率的优化。

在这样的背景下,一家专注于数据全局访问与管理的创新企业Hammerspace正试图在这一领域打造突破性的解决方案。

“小时候看动画片主角总能从虚无中抽出需要的东西——这就是Hammerspace的灵感来源,让企业能够随时随地访问和使用数据,无需担心存储的物理位置。”Hammerspace董事总经理Molly Presley在接受笔者的采访时表示,对于AI训练而言,这意味着研究人员可以快速获取所需的训练数据,而无需经历冗长的数据迁移过程,极大提升了AI模型的训练效率。

这种魔法般的体验,源自对存储架构的彻底重构。Hammerspace的核心能力在于其独特的数据存取方式。传统的存储架构往往受限于数据孤岛的问题,不同地点、不同存储介质的数据难以高效共享,导致算力资源的浪费。Hammerspace提供的解决方案,能够让数据在全球范围内自由流动,并支持多种存储协议(NFS、SMB、S3),使得计算资源能够即时访问所需的数据,而不受存储位置的限制。这种能力不仅大幅提高了GPU的利用率,也为AI训练提供了更具弹性的计算环境。

一个最具说服力的案例是Meta的Llama模型训练。Molly Presley透露,Llama 2和Llama 3的训练完全基于Hammerspace的架构之上,支撑着24000块GPU和1000个存储节点的高效运作。Meta之所以选择Hammerspace,正是因为其能够在不改变现有技术架构的前提下,实现数据的高效流转和存取,同时确保GPU资源被最大化利用。Hammerspace采用标准协议架构,使其解决方案能够无缝适配企业现有的IT基础设施,而无需进行大规模改造。

Hammerspace不仅在AI领域发挥重要作用,也在其他行业中展现了其技术价值。例如,视觉特效公司Jellyfish Pictures通过Hammerspace的解决方案,在全球六个站点实现了协同化的后期制作流程,不仅加快了渲染与剪辑的效率,还节省了近300万美元的云渲染成本。同样,在航天领域,Blue Origin利用Hammerspace的技术,确保其九个不同站点的数据能够实现高效共享,使得火箭发射后的数据分析能够实时反馈至设计和制造团队,极大提高了研发效率。

可以说,在AI高性能存储的现实应用中,Hammerspace展现出了其独特的技术优势。其全局数据管理平台不仅能够支持当前所有主流存储系统,包括DeepSeek的3FS存储系统,还能无缝地为GPU训练芯片提供数据,大幅提升训练效率,优化GPU利用率,加速数据价值实现,同时降低存储成本和能耗,最终消除数据孤岛问题。

此外,Hammerspace的多站点与混合云环境能力,使得数据协同变得更加高效。无论数据存储在哪个云端或孤立存储系统,Hammerspace都能让上层应用从全局角度访问数据,而无需考虑物理位置。同时,通过数据生命周期管理,它还能实现数据保护、分级存储和迁移等功能,满足非结构化数据管理的全方位需求。

作为一个全局数据管理平台,Hammerspace支持NFS、SMB、S3等多协议访问,底层存储可以是服务器、NAS、对象存储甚至云存储。更重要的是,它无需额外硬件投入,即可利用现有设备,如服务器、NAS或对象存储,为AI或GPU集群提供计算资源所需的数据。

“Hammerspace的Hyperscale NAS架构既具备HPC并行文件系统的高性能,又能提供企业级NAS的数据服务管理,特别适用于AI和HPC场景。”Molly Presley补充道,在Los Alamos实验室的项目中,Hammerspace成功取代Lustre,支撑了1000台NVIDIA SuperPOD的部署,充分展现了其独特的技术价值。

值得一提的是,Hammerspace最新推出的Tier 0存储方案,利用GPU服务器的本地存储作为数据存取的第0层,在不增加额外硬件的情况下提升了读写性能。尤其是在大规模GPU集群环境下,这一技术能够将所有GPU服务器的本地存储整合为全局命名空间的Tier 0层,从而极大提升CheckPoint效率,降低数据访问延迟,并节省硬件投入、能源消耗和数据中心空间。这种策略化的存储管理,使数据能在其生命周期内被合理存放,从高性能闪存到长期存储的磁带,真正实现存储资源的最优利用。

写在最后

Hammerspace的成长之路,颇有点从“小而美”走向“大舞台”的感觉。公司成立于2018年,三年后正式发布产品,并迅速在行业内崭露头角。到了2023年,Hammerspace的解决方案已经成功应用于Meta、Los Alamos国家实验室等超大规模计算环境。

随着技术的成熟,Hammerspace在2024年迎来了高速增长,并在2025年正式将目光投向亚太市场,尤其是中国市场。

“中国在AI领域的发展速度令人惊叹,不论是大模型的基础研究,还是各行业的应用落地,都走在全球前列。”Molly Presley表示,在他们与中国企业的交流中,发现本地市场对于高效数据存取和管理的需求极为迫切,尤其是在工业、媒体娱乐、金融等行业,企业都在积极探索如何让AI真正落地。“这正是我们的强项,我们有信心帮助更多中国企业解决数据管理的难题,让AI的潜力真正被释放。”

正如Molly Presley所言:“Hammerspace的愿景是让数据按需流动,无论存储在哪里,都能实现实时访问。”在AI驱动的数据时代,这一愿景无疑触及了企业数据管理的核心需求,也让Hammerspace成为了AI基础设施领域不可忽视的重要玩家。

标签:
版权声明:本文版权归数字商业时代所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。