几周前,我写了一篇有关Hadoop的文章,并谈到了它的不同部分。 以及它如何在数据工程中扮演重要角色。 在本文中,我将总结Hadoop中不同的文件格式。 本主题将是一个简短而快速的主题。 如果您想了解Hadoop的工作原理以及它在数据工程师中的重要作用,请在此处访问我关于Hadoop的文章,或乐于跳过。
Hadoop中的文件格式大致分为两类:面向行和面向列:
面向行:在一起存储的同一行数据是连续存储:SequenceFile,MapFile,Avro Datafile。 这样,如果仅需要访问该行的少量数据,则需要将整个行读入存储器。 延迟序列化可以将问题减轻到一定程度,但是无法取消从磁盘读取整行数据的开销。 面向行的存储适用于需要同时处理整行数据的情况。
面向列:整个文件分为几列数据,每列数据存储在一起:Parquet,RCFile,ORCFile。 面向列的格式可以在读取数据时跳过不需要的列,适用于字段中只有一小部分行的情况。 但是这种读取和写入格式需要更多的存储空间,因为高速缓存行需要位于内存中(以获取多行中的一列)。 同时,它不适合流式传输,因为一旦写入失败,就无法恢复当前文件,并且在写入失败时,面向行的数据可以重新同步到最后一个同步点,因此Flume使用 面向行的存储格式。
> Picture 1.(Left Side )Show the Logical Table and Picture 2. ( Right Side) Row-Oriented Layout(Sequ
> Picture 3. Column-oriented Layout (RC File)
如果仍不清楚行和列的方向,请不用担心,您可以访问此链接,了解它们之间的区别。
以下是在Hadoop系统上广泛使用的一些相关文件格式:
存储格式取决于是否压缩以及使用记录压缩还是块压缩而有所不同:
> The Internal structure of a sequence file with no compression and with record compression.
不压缩:根据记录长度,键长,值程度,键值和值值顺序存储。 范围是字节数。 使用指定的序列化执行序列化。
记录压缩:仅压缩值,并将压缩的编解码器存储在标头中。
块压缩:将多个记录压缩在一起,以利用记录之间的相似性并节省空间。 同步标记被添加在块之前和之后。 该属性的最小值为io.seqfile.compress.blocksizeset。
> The internal structure of a sequence file with block compression
MapFile是SequenceFile的变体。 将索引添加到SequenceFile并对其进行排序后,它就是MapFile。 索引存储为单独的文件,通常每128条记录存储一个索引。 可以将索引加载到内存中以进行快速查找-存储按Key定义的顺序排列的数据的文件。 MapFile记录必须按顺序编写。 否则,将引发IOException。
MapFile的派生类型:
· SetFile:一个特殊的MapFile,用于存储可写类型的键序列。 密钥是按顺序写入的。
· ArrayFile:键是一个整数,表示数组中的位置,值是可写的。
· BloomMapFile:使用动态Bloom过滤器针对MapFile get()方法进行了优化。 过滤器存储在内存中,并且仅当键值存在时,才会调用常规的get()方法来执行读取操作。
Hadoop系统下面列出的文件包括RCFile,ORCFile和Parquet。 Avro的面向列的版本是Trevni。
Hive的Record Columnar File(记录列文件),这种类型的文件首先将数据按行划分为行组,然后在行组内部将数据存储在列中。 其结构如下:
> Data Layout of RC File in an HDFS block
与纯面向行和面向列的比较:
> Row-Store in an HDFS Block
> Column Group in HDFS Block
ORCFile(优化的记录列文件)提供了比RCFile更有效的文件格式。 它在内部将数据划分为默认大小为250M的Stripe。 每个条带均包含索引,数据和页脚。 索引存储每列的最大值和最小值以及列中每一行的位置。
> ORC File Layout
在Hive中,以下命令用于使用ORCFile:
CREATE TABLE ...STORED AAS ORC ALTER TABLE ... SET FILEFORMAT ORC SET hive.default.fileformat=ORC
一种通用的基于列的存储格式,基于google的Dremel。 特别擅长处理深度嵌套的数据。
> The internal Structure of Parquet File
对于嵌套结构,Parquet会将其转换为平面列存储,该存储由重复级别和定义级别(R和D)表示,并在读取数据以重建整个文件时使用元数据来重建记录。 结构体。 以下是R和D的示例:
AddressBook { contacts: { phoneNumber: "555 987 6543" } contacts: { } } AddressBook { }
就这样,现在,您知道了Hadoop中不同的文件格式。 如果您发现任何错误并提出建议,请随时与我联系。 您可以在我的LinkedIn上与我联系。