hdfs里的 ?edits和 ?fsimage作用?

在大数据的学习中:hdfs里的 ?edits和 ?fsimage作用?

  • 请看👉 :HDFS的fsimage和edits是什么、有什么作用
  • 除此之外, 这篇博客: HDFS面试题中的 10、HDFS里面的edits和fsimage作用? 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
    1. fsimage文件其实是hadoop文件系统元数据的一个永久性的检查点,其中包含hadoop文件系统所有目录和inode的序列化信息,也就是目录树
    2. edits文件存放的是hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所以写操作会被记录到edits文件中。

    fsimage和edits文件都是经过序列化的,在namenode启动的时候,它会将fsimage文件中的内容加载到内存中,之后再执行edits文件中的各项操作,使得内存中的元数据和实际的同步,存在内存中的元数据支持客户端的读操作。

    namenode起来之后,hdfs中的更新操作会重新写到edits文件中,因为fsimage文件一般都很大(GB级别的很常见),如果所有的更新操作都会往fsimage文件中添加,这样会导致系统运行的十分缓慢,但是如果往edits文件里面写就不会这样,每次执行写操作之后,且在向客户端发送成功代码之前,edits文件都需要同步更新。如果一个文件比较大,使得写操作需要向多台机器进行操作,只有当所有的写数据都执行完毕之后,写操作才会返回成功,这样的好处是任何的操作都不会因为机器的故障而导致元数据的不同步。

hadoop中的fsimage和edits的介绍_超大板栗的博客-CSDN博客_fsimage和edits文件分别是什么 在进入下面的主题之前想来搞清楚edits和fsimage文件的概念:1,fsimage文件其实是hadoop文件系统元数据的一个永久性的检查点,其中包含hadoop文件系统中的所有目录和文件idnode的序列化信息。2,edits文件存放的是hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到edits文件中。元数据的介绍:元数据的分类按形式分类:内存元数据和元数据文件;它们的存在的位置分别为:内存和磁盘上。其中内存元数据主要是hdfs文件目录的管理; https://blog.csdn.net/a1135004584/article/details/120140532?ops_request_misc=&request_id=&biz_id=102&utm_term=&spm=1018.2226.3001.4449