大数据 - Hadoop

NVIDIA 数据量、速度、种类、准确性和价值都是衡量大数据部署的指标。Hadoop作为主导的大数据应用程序,可以帮助组织改进、开展新业务并推动研究。Hadoop在数据存储容量、入口流量和分析速度方面的集群功能是当今数据科学家工作的目标。传统的以太网网络已经无法提供Hadoop集群所需的性能。多插槽多核服务器已经超越传统的千兆以太网(常为10GbE)容量,即使其拥有多个聚合链接。

网络的选择及其需要的能力是构建Hadoop集群时面临的主要挑战之一,因为工作负载千差万别。其目标是购买足够的网络容量,以便集群中所有节点都能以最佳速率相互通信。Mellanox的端到端Hadoop网络解决方案可提供所需的性能,以消除当前和未来的任何瓶颈。无论是以太网还是InfiniBand,Mellanox交换机、电缆和网卡都能提供足够的带宽来支持当今先进的磁盘控制器的吞吐量。其低延迟特性可将NoSQL数据库性能提升至新的高度。亚微秒级延迟时间可缩短HBase查询响应时间,实现更加可预测的应答时间直方图。

基于Apache Hadoop的新型交互式框架可提供接近实时的数据分析性能。为了处理大量的数据,这些框架需要低延迟、高吞吐量的连接。 线性可扩展性是满足当今业务增长需求所必需的,因为随着销售额和营收的线性增长,数据量将呈指数级增长。随着微处理器技术的进步,多核处理器和服务器需要更高吞吐量的网络来满足CPU的处理需求。Mellanox InfiniBand和以太网技术可提供最高的可用带宽,并且两者都具备RDMA能力,可卸载数据移动。