Checksum 校验和

一校验数据的一般算法比较

都是通过对数据进行校验产生一个校验值，用来校验数据完整性。

不同点：

算法不同: CRC采用多项式除法，MD5和SHA1使用的是替换、轮转等方法；

校验值的长度不同:

CRC校验位的长度跟其多项式有关系，一般为16位或32位；

MD5是16个字节（128位）；

SHA1是20个字节（160位）；

安全性不同：这里的安全性是指检错的能力，即数据的错误能通过校验位检测出来。CRC的安全性跟多项式有很大关系，相对于MD5和SHA1要弱很多；MD5的安全性很；SHA1的安全性最高。

效率不同，CRC的计算效率很高；MD5和SHA1比较慢。

用途不同。CRC一般用作通信数据的校验，比如HDFS 通信过程数据完整性校验；MD5和SHA1用于安全领域，比如文件校验、数字签名等。

二Checksum（校验和）

Checksum:在数据处理和数据通信领域中，用于校验目的的一组数据项的和

HDFS为了保证数据的完整性，采用checksum进行数据校验，而具体Checksum类型主要包括：

>>NULL:不校验

>>CRC32(CyclicRedundancy Check): 采用32位的循环冗余校验码

>>CRC32C：

>>可以通过io.bytes.per.checksum属性设置，字节数默认是512 字节，创建一个单独的校验和，如果节点检测数据错误，就会报CheckSumException异常

>>除了在读取数据时进行验证，数据节点也会在后台运行一个线程
DataBlockscanner（数据块检测程序）周期性的验证存储在数据节点上的所有块。

一旦检测到corruptblock，在heartbeat阶段，DN会收到NN发来的BlockCommand，从其他数据块中拷贝一份新的replica（备份块）。

Checksum 校验和相关推荐

checksum命令 linux_数字签名及 Checksum 校验和
数字签名及验签一般情况,为了证明文件或信件从源端通过网络传输到目的端未被人为篡改,通常采用数字签名的技术. 通过如下简单几步实现数据签名及验签. 发送方数字签名过程: 发送者通过散列函数将带发送的数 ...
IP头TCP头的checksum校验和计算
校验和就是数据位按位相加之后取反所得,验证校验和的时候把数据位按位相加再加上校验和如果等于零则表示验证通过. 如:数据位相加为1010, 那么校验和为0101,验证时1010+0101=0,验证通过. ...
关于checksum校验和算法
今天复习计网的时候看到了UDP头部有差错校验,其中的checksum算法没理的太清楚,索性写一篇博客,顺便回顾一下其他的. 校验和覆盖的内容: IP校验和:IP首部. ICMP校验和:ICMP首部+I ...
c语言 checksum,容易被忽视的IP报头中的Checksum校验和
看计算机网络相关的书,每次看到IP或者UDP报头校验和时,都一瞥而过,以为相当简单.可是今天一看真傻眼了,怎么算的,为什么用反码不用补码还真不知道怎么回事. 算法的C语言实现: unsignedsho ...
internet网络 checksum校验和计算方法
http://hi.baidu.com/%CE%C4%B3%AD%B9%AB/blog/item/7d9a4e08f82d72b32eddd4cb.html
修复hex/s19文件中的校验和
一.背景在一些开发中可能需要手动修改烧写文件中的一些数据,由于s19文件和hex文件中都有checksum校验和,如果修改了其中的数据内容,则需要手动同步修改校验和. 1.文件格式 S-record ...
C语言解析pcap文件得到HTTP信息实例（原创，附源码）
原文:http://xiexiaohui.com.host2.ugocn.com/index.php/archives/34 转载请注明出处.来自 hello xiexh (xiexiaohui092 ...
OSPF 提升一 ----基础
ospf ccnp内容一 link-state protocols IGP 开放式的最短路径优先协议公有协议支持中到大型的网络 spf算法链路状态协议 1.传送 ...
计算机常用英语术语、词汇表（上）
Computer Vocabulary In Common Use 一.硬件类(Hardware) 二.软件类(Software) 三.网络类(Network) 四.其它 CPU(Center Pro ...

Checksum 校验和

Checksum 校验和相关推荐

最新文章

热门文章