半岛权威十大直营(官方)网站

大数据时代，研究大数据的 IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop集群环境下的网络架构设计与优化经验。

大数据Hadoop环境网络特性

Hadoop集群中的各节点通过网络连接起来，而且MapReduce中的以下过程会在网络中传输数据。

（1）写数据。当向 HDFS 写入初始数据或者大块数据时，会发生数据写入过程。写入的数据块需要备份到其他节点，需要在网络中传输这些数据。

（2）作业执行。
① Map 阶段。在算法的 Map 阶段，几乎不需要在网络中传输数据。在 Map 开始阶段，当 HDFS 数据没有本地性（数据块不在本地存储，需要从其他节点拷贝）时，才需在网络中传输数据。
② Shuffle 阶段。这是作业执行中在网络中传输数据的阶段，数据传输的程度依赖于作业。Mapper 阶段的输出内容，会在这个时候传输到 Reducer 进行排序。
③ Reduce 阶段。因为 Reducer 需要的数据已经从Shuffle 阶段传来，所以此阶段不需要网络传输数据。
④ Output 复制。MapReduce 的输出作为文件存储在 HDFS 上。当将输出结果写入 HDFS 时，产生的备份会在网络中传输。

（3）读数据。当应用程序如网站、索引或者 SQL数据库从 HDFS 读取数据时，会发生数据读取的过程。另外，网络对 Hadoop 的控制层非常重要，比如HDFS 的信令和运维操作，以及 MapReduce 架构都受到网络影响。

五种网络特性

思科公司针对 Hadoop 集群环境下的网络环境进行了一个测试，测试结果显示，一个有弹性的网络对Hadoop 集群非常重要；对 Hadoop 集群具有重要影响的网络特性，以其影响程度从大到小依次排序为：网络可用性和弹性、Burst 流量突发处理和队列深度、网络过载比、Datanode 网络接入和网络延迟。

（1）网络可用性和弹性。要部署一个高冗余性和可扩展的网络，支持 Hadoop 集群的增长。在 Datanode之间部署多条链路的技术要比那些有单点失效或两点失效的技术要好。交换机和路由器已经在业界被证明能够为服务器提供网络可用性。

（2）Burst 流量突发处理和队列深度。HDFS 的有些操作和 MapReduce Job 会产生突发流量，如向 HDFS加载文件或者把结果文件写入 HDFS 都需要通过网络。网络如果处理不了突发流量，就会丢弃数据包，所以适当的缓存可以缓解突发流量的影响。确保选择使用缓存和队列的交换机和路由器，来有效处理流量突发。

（3）网络过载比。一个好的网络设计需要考虑到网络中关键节点的拥塞情况。一个 ToR 交换机从服务器接收 20Gbps 的数据，但是只有 2 个 1Gbps 的上联口会造成数据包丢失（10:1 的过载比），严重影响集群的性能。过度配置的网络的价格又非常昂贵。一般情况下，服务器接入层可以接受的过载比在 4:1 左右，接入层和汇聚层之间，或者核心层的过载比在 2:1左右。

（4）Datanode 网络接入。要基于集群工作负荷来推荐带宽配置。一般集群中的节点有 1 到 2 根 1GB 的上联口。是否选择 10Gbps 的服务器要权衡价格和性能。

（5）网络延迟。交换机和路由器延迟的变化对集群性能的影响有限。相比网络延迟，应用层延迟对任务的影响比例更大。但是网络的延迟会对应用系统造成潜在的影响，例如造成不必要的应用切换等。