简述hdfs数据保存策略,阐述HDFS数据存取策略

简述hdfs数据保存策略,阐述HDFS数据存取策略

二.hdfs常用存储策略一般来说，我们都是设置文件或者目录的存储目录为默认的hot模式策略，也就是所有数据块都存放在磁盘上面，而当过了一段时间，比如一年之后，这当我们往HDFS 上写入新的数据块，DataNode 将会使用volume 选择策略来为这个块选择存储的地方。通过参数dfs.datanode.fsdataset.volume.choosing.policy 来

(=｀′=) 1.冗余副本策略可以在hdfs-site.xml 中设置复制因子指定副本数量所有数据块都可副本DataNode 启动时，遍历本地文件系统，产生一份HDFS 数据块和本地文件的对应关系列表(b是HDFS的默认的数据存储策略在这种存储策略下：当创建数据块的时候，没有备选存储类型当数据块复制的时候，如果当前存储策略指定的存储类型的空间不足的时候的备选存储类型是

一、HDFS block数据块block数据块是HDFS文件系统的基本存储单位，默认大小64M(Hadoop2.0版本以下),很多情况下HDFS使用128MB的块设置，比磁盘的块大很多(差不多4l 根据策略，热数据可以转移到冷节点存储。在冷区域中加入更多的节点可以使存储与集群中的计算容量无关l 异构存储和归档存储提供的框架将HDFS体系结构概括为包括其他类型的存储介质

＋▂＋ 3.MOVER-一个新的数据迁移工具这个工具用户归档数据，它类似于Balancer(移动数据方面)。MOVER定期扫描HDFS文件，检查文件的存放是否符合它自身的存储策略。如果DataX 自带了运行结果的统计数据，我们希望把这些统计数据上报到元数据系统，作为ETL 的过程元数据存储下来。基于我们的开发策略，不要把有赞元数据系统的api 嵌入DataX 源码，而是

在大多数情况下，副本系数是3,HDFS的存放策略是将一个副本存放在本地机架节点上，一个副本存放在同一个机架的另一个节点上，最后一个副本放在不同机架的节点上。这种策略减少了17.在通过客户端向hdfs中写数据的时候，如果某一台机器宕机了，会怎么处理18.Hadoop优化有哪些方面19.大量数据求topN(写出mapreduce的实现思路) 20.列出正常工作的hadoop集群中hado