楔子 前几天，笔者解决DataNode节点宕机过程中，在初期并不知道是因为Centos网卡驱动不兼容造成的系统死机。故将Nodedata源码翻出来全部看了一遍。有些心得，略写一二，各位看官见笑了。
楔子
前几天，笔者解决DataNode节点宕机过程中，在初期并不知道是因为Centos网卡驱动不兼容造成的系统死机。故将Nodedata源码翻出来全部看了一遍。有些心得，略写一二，各位看官见笑了。
第一回 混沌未分天地乱，茫茫渺渺无人见。
笔者以源码跟踪的方式阐述了DataNode运行过程，如有偏颇之处实在是因为笔者水平太低，请看官留下真知灼见，作为日后相见约守。笔者为了阐述清晰只截取了部分相关代码，完整的代码请各位参考源码。
main函数是一个程序的入口，也是出口，所有的一切，从这里开始，也从这里结束。
public class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConstants, Runnable, DataNodeMXBean { public static void main(String args[]) { secureMain(args, null); } }在代码中，如果调用方法的所属类不属于DataNode，笔者会明确的标识出来，否则调用的方法都是在类DataNode中声明和定义的。
public static void secureMain(String [] args, SecureResources resources) { DataNode datanode = createDataNode(args, null, resources); if (datanode != null) datanode.join(); System.exit(0); }在静态方法secureMain中，DataNode变量对象datanode被创建。话分两头，我们先看datanode.join()方法，它做的就是静静的等待，等待线程终止，等待一切终止。
void join() { dataNodeThread.join();}话在说回来，继续看createDataNode方法中发生的事情。
DataNode createDataNode(String args[],Configuration conf,...) { DataNode dn = instantiateDataNode(args, conf, resources); runDatanodeDaemon(dn); return dn; }createDataNode方法中会实例化一个Datanode对象出来，事实上实例化一个对象还需要很多的步骤和准备，这些事件将在instantiateDataNode()方法中演绎。
public static DataNode instantiateDataNode(String args[], Configuration conf, SecureResources resources) throws IOException { DefaultMetricsSystem.initialize("DataNode"); return makeInstance(dataDirs, conf, resources);}public static DataNode makeInstance(String[] dataDirs, Configuration conf, SecureResources resources) throws IOException { UserGroupInformation.setConfiguration(conf); LocalFileSystem localFS = FileSystem.getLocal(conf); ArrayList<File> dirs = new ArrayList<File>(); return new DataNode(conf, dirs, resources); return null; }
在makeInstance()函数中，真正的new( )出一个DataNode类型的对象，并且立刻开始初始化DataNode类的成员变量和调用DataNode类的构造函数。其中在DataNode中比较重要的成员变量有以下几个：
public FSDatasetInterface data = null;在datanode类中成员变量data实际上是FSDataset类型，FSDataset类型用来提供数据存储功能，FSDataset实现了FSDatasetInterface接口 ， 对于Block的所有操作都要经过data成员变量管理在这个datanode上存储的block。
private DataStorage storage = null;Datanode节点利用DataStorage类型的storage对象对自己的所有存储路径进行统一管理。DataStorage主要在Datanode节点启动时扮演重要的角色。
public Server ipcServer;在DataNode启动的时候，会创建一个ipcServer，这个ipcServer是Hadoop的ipc框架的Server实例，主要是在DataNode和DataNode之间recover block时使用,recover block会在两个地方发生，一个是namenode返回的recover命令 , 一个是DFSClient写数据时遇到DataNode错误时触发。
在成员变量初始化完成之后调用DataNode的构造函数
DataNode(final Configuration conf,final AbstractList<File> dataDirs,SecureResources resources) { startDataNode(conf, dataDirs,resources); }在构造函数中，调用startDataNode方法
void startDataNode(Configuration conf, AbstractList<File> dataDirs, SecureResources resources ) { storage = new DataStorage(); this.threadGroup = new ThreadGrou("dataXceiverServer"); this.dataXceiverServer = new Daemon(threadGroup, new DataXceiverServer(ss, conf, this)); this.threadGroup.setDaemon(true); storage.recoverTransitionRead(nsInfo, dataDirs, startOpt); this.dnRegistration.setStorageInfo(storage); this.data = new FSDataset(storage, conf); this.infoServer.start(); blockScanner = new DataBlockScanner(this, (FSDataset)data, conf); }在startDataNode方法中还storage、data、dataXceiverServer、DataBlockScanner都有各自的任务。下次继续说。
