・龙智ALM方案      ・Perforce      ・Atlassian      ・Zephyr      ・IC-Manage

IC Manage PeerCache

IC Manage PeerCache通过加速千兆字节(TB)项目数据的文件传输,托管文件和生成文件,来给工程师提供大规模并行工作流程。

因为在28纳米及以下在生成的数据量急剧增加,工程师无法轻易做出多个副本:过滤储存成本太高,并且使得物理拷贝时间太长。

PeerCache利用计算场节点作为对等网络缓存解决了这个数据量的问题。它提供在几分钟内千兆字节(TB)项目数据拷贝,并极大地降低存储成本。

Abstract network design with colourful dots connecting to each other

这是一个100%的软件解决方案,加速NetApp,Isilon公司和VMware。它加速了你的所有的项目数据,包括托管和生成的文件,并加快所有的DM系统。

IC Manage PeerCache可以通过删除项目数据串行流来消除工程师团队面临的瓶颈。当被迫共享一个非常有限的主拷贝数时,他提供了大规模并行工程数据的工作流。工程师不再受限于更新需要等待长时间运行的工作或者其他用户在共享目录完成任何更改。

独特的底层技术

 

IC Manage PeerCache有三个关键基础技术来实现大规模并行工作流。

虚拟工作空间

运用虚拟工作空间,文件系统接口保持一致,然而,描述文件元数据是从实际的文件内容分离的。 PeerCache允许独立控制的元数据和文件内容。它有一个单独的传输层来移动该文件内容的字节。

因为没有重复的内容,虚拟工作空间消除了物理拷贝需求,减少了数十倍到百倍的拷贝时间和存储空间。

他们还提供按需访问。所有文件都可以立即访问,根据需要提供的内容。

对等网络

IC Manage PeerCache提供了一个独特的对等网络,利用SSD缓存的优势,使用临时或者本地存储,可以快速找到办法进入计算场。然后,它使用这个对等网络来加快工作区内容的交付。

传统的串行文件数据传输机制已经被限制,因为它需求存取速度(读取),和“写”以及元数据“统计”的性能。即使你增加更多的文件存储到中央文件管理器,你仍然会被一个单一的NFS线程的速度所限制。在大数据集穿过时,它仍然不能给出稳定I/O性能,因为大多数共享的存储系统会有不定的延时当它试图调整比例或者减缓性能的时候。

半导体公司有大量节点的计算场。然而,尽管手机和笔记本电脑目前使用非常快的本地SSD,作为驱动器或NVM(非易失性存储器),计算节点目前只能使用SSD作为临时空间。无法在节点之间共享文件,因为本地存储不是网络化的。此外,这些地方的存储必须手动管理,复制和备份。

PeerCache拥有突破性的技术,使得其在计算农场上创造了一个对等网络,使用计算节点的临时硬盘或SSD的本地存储作为缓存,提供了几乎免费的并行克隆。

虚拟工作空间技术加上对等网络技术还有本地缓存技术给开发团队提供近乎即时的内容交付(读取)。

本地读写缓存

IC Manage PeerCache具有混合架构,结合现有的NFS存储基础设施和本地SSD的性能—全部都只用软件实现。

为了取代中央网络滤波器的串流,我们写了本地的SSD,它会自动备份到滤波器。因此,所有的“统计”,“读”和“写”成为本地操作。

此外,这些写的内容被复制到你现有的NFS的基础设施和/或DM保管和备份系统。这保持了您的数据的完整性,同时也使它可以从网络上的任何主机访问。

由于数据写回文件过滤器,这是最优方法因为它完全兼容现有的基础设施。

本地驱动器服务为读取和写入提供高性能的缓存,在您所有的分析工作中提供更高的生产力。

PeerCache支持所有主流的DM系统,包括商业的和开源的,因为它在文件层工作,呈现了一个相同的文件系统接口。

IC Manage PeerCache 的优势

节省了文件的存储空间

为了加速他们程序的运行时间,越来越多的公司正在投资计算节点存储。在一个典型的情况下,一个公司可能有800个节点在一个计算场,每个节点有500GB的高速缓存。

使用ICM PeerCache,公司将有额外的400 TB的即时访问空间和加速网络的工作空间。

速度的提升

目前,NFS架构可以100至500 MB /吞吐量秒之间传递,而一个NVMe SSD计算节点可以提供超过2GB/秒以上

因此,PeerCache为您提供了4-20倍现有系统速度的潜力。

大规模并行工作流

当工程师被强制转换成串行流,他们必须等待长期运行工具启动才可以继续他们的任务。此外,当他们使用一个共享的模型生成的数据,他们所有处理的数据管理工具都是不可用的,如隔离分支和合并中间版本的源代码和生成数据源。

他们可能有额外的问题,因为在不同用户的工作中的手动修改数据,他们可能在不经意间使用了错误的版本,或者被覆盖的数据。

应用并行工作流程,工程师们不再需要等待别人来完成他们的物理副本。

任何用户可以在任何时刻克隆任何授权的工作–甚至万亿字节(IB)大小的全芯片的工作区。克隆耗费的的时间接近于零,并包括管理和生成的数据。没有额外的存储被消耗,直到被更改。

此外,克隆现在可以作为分支功能。派生的数据现在是“被管理的”,您可以跟踪和切换多个配置。分布式版本控制系统(软件)工具,如Git或Perforce软件可用于在这个克隆里分离版本控制,然后可以推回主分支。

开发团队能够享受到的好处

因为PeerCache解决了一系列的开发瓶颈,所以开发团队能从平行,隔绝的工作流中收益,比如他们在如下的情况:

  • 运行大量的角点和100个不同的脚本,其中每个子块可能是几十个GBs。

  • 在最高级的数据库中做ECO,修复时必须传达到远程的子块所有者去运行所有的分析,然后创建一个新的工作区进行顶层检查。

  • 执行物理实现生成的多字节文件,设计师必须等待长运行完成之后他们才可以下一组任务更新。