编码、加密和 Hash

Hash

定义

散列函数(英语:Hash function)又称散列算法、哈希函数,是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要,使得数据量变小,将数据的格式固定下来。该函数将数据打乱混合,重新创建一个叫做散列值(hash values,hash codes,hash sums,或hashes)的指纹。散列值通常用一个短的随机字母和数字组成的字符串来代表。好的散列函数在输入域中很少出现散列冲突。在散列表和数据处理中,不抑制冲突来区别数据,会使得数据库记录更难找到。 —— Wikipedia-Hash

简单来说就是 Hash 这种算法可以把任意数据转换成指定的大小范围(通常在256字节以内)的数据。

作用

Hash 把数据压缩成摘要,因此最主要用途是数字指纹。

实际用途

  • 唯一性验证:Java 中的 hashCode() 方法。
  • 数据完整性验证:从网络下载文件时,为防止文件传输中丢失,文件提供方都会给出完整文件的 hash 值,用于完整性校验
  • 快速查找:HashMap
  • 隐私保护:当重要数据必须暴露时,可以选择暴露它的 Hash 值(MD5、SHA2等),例如网站登录时,可以只保存用户密码的 Hash 值,每次登录时只需将密码的 Hash 值和数据库中的 Hash 值作比较,网站无需存储用户密码,这样在网站数据被盗时可以有效防止撞库等风险

Hash 是编码吗?

不是。Hash 是单向过程,Hash 值不可逆向成数据(4GB 大小的一个 mkv 文件,Hash 值也只是一个字符串而已,不可能从这个字符串恢复成原文件),因此 Hash 不属于编码。

Hash 是加密吗?

不是。加密和解密是对应的,Hash 是单向过程,无法进行逆向操作,因此 Hash 不属于加密。

加密

对称加密

  • 原理:使用密钥和加密算法对数据进行转换,得到无意义的数据即密文;使用密钥和解密算法对密文进行逆向转换,得到原数据。
image.png

非对称加密

非对称加密可以说是现代计算机网路通讯的安全基石,无论你是否了解或者听说过它,只要你使用联网的电子设备,就会用到它。

  • 原理:使用公钥对数据进行加密得到密文;使用私钥对数据进行解密得到原数据。
image.png

用一个简单的例子来解释一下非对称加密:A 要发送一个消息110给 B,B 自己先生成一对密钥(公钥p 和 私钥q),这对密钥有一个对应关系,那就是 p+q=10,这里假设(p=4;q=6),B 把公钥 4 发给 A,A 再把110每位加 4 变成密文554发给 B,然后 B 拿到密文554之后使用私钥每位加 6 变成111110然后把每一位的结果 -10 得到110,这样 B 就拿到了原文。

3551539-ffdc7c4db9235858c.png

同理,B 如果要给 A 发送消息,那么 B 就用 A 的公钥加密消息发给 A,然后 A 再用自己的私钥解密消息就好了,所以非对称加密的安全关键就是私钥不对外公开并且只有自己的私钥才能解自己的公钥,这样就解决了对称加密通讯中密钥传输丢失的风险,因为 A 根本不需要把私钥发送给 B,而发送出去的公钥不能用来解密消息。以上示例的整个通讯过程就是非对称加密通讯的核心思想。

上图的模型中加密算法就是加法,公钥就是 4,私钥就是 6,其中加密算法和公钥是公开的,示例模型中拿到公钥和密文是可以推导出原数据的,而实际应用中的加密算法十分复杂并且通过公钥和密文无法推导出原数据,具体可以参考非对称加密算法 RSA 的算法原理

签名和验证

通过了解非对称加密我们可以知道同一对密钥中私钥是可以解公钥的,那么思考一下公钥是否可以解私钥?
我们不妨仔细看一下非对称加密解密过程:

image.png

如上图所示,A 通过公钥+加密算法得到 B,B 通过私钥+加密算法得到 C,因为 C = A,所以用公钥再加密一下 C 就可以得到 B 而形成一个循环,所以公钥也可以解私钥加密的数据。

于是,我们就可以用私钥给数据做签名,然后对方收到签名数据用公钥解密做校验;在实际应用中由于文件大小的不可控,给文件直接签名效率很低,所以一般都是给文件的 hash 值做签名,因为 hash 的最主要用途就是数字指纹,因此通过比对两个文件的 hash 值是否相等来校验两个文件是否相等是普遍的文件校验手段。通过非对称加密来签名和校验文件的过程如下:

image.png

从上图中不难看出,我们给数据签名的目的只有一个:保证接受方收到的数据就是我发出去的数据,中途没有丢失或被篡改。
我们从大部分网站上下载一些文件,为安全起见一般他们都会给出文件的 hash 值,用来和你下载到本地的文件做完整性和一致性的校验。
所以给文件签名的逻辑就是:我要发送一个文件给对方,那我怎么保证我的文件不会被篡改或丢失?把文件的 hash 也发过去。那我怎么保证我的 hash 不会被篡改?把 hash 进行签名和文件一起发过去。

Base64

定义

Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于 {\displaystyle 2^{6}=64} {\displaystyle 2^{6}=64},所以每6个比特为一个单元,对应某个可打印字符。3个字节有24个比特,对应于4个Base64单元,即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9,这样共有62个字符,此外两个可打印符号在不同的系统中而不同。一些如uuencode的其他编码方法,和之后BinHex的版本使用不同的64字符集来代表6个二进制数字,但是不被称为Base64。 —— Wikipedia-Base64

简单理解就是 Base64 是一种能将二进制数据转换成有 64 个字符组成的字符串的编码算法。

算法

将原数据每 6 位对应成 Base 64 索引表中的一个字符并编排成一个字符串(每个字符 8 位)。

Base64 索引表:

image.png

编码“Man”

image.png

末尾补齐

image.png

用途

  • 将二进制数据的存储方式和传输途径进行了扩充(例如可以把图片经过编码保存到文本文件、可以通过聊天对话框或短信形式发送、可以在 URL 中加入简单的二进制数据)
  • 普通的字符串在经过 Base64 编码后结果会变得肉眼不可读,因此适用于一定条件下的防偷窥

缺点

因为自身原理(6 位变 8 位),因此每次 Base64 编码之后,数据都会增大约 1/3,所以会影响存储和传输性能。

变种:Base58

比特币使用的编码方式,去掉了 Base64 中的数字 “0”,大写字母 “O”,大写字母 “I”,和小写字母 “l”,以及 “+” 和 “/” 符号,用于比特币地址的表示。

Base58 对于 Base64 的改动,主要目的在于用户的便携性。由于去掉了难以区分的字符,使得 Base58 对于“人工抄写”更加友好。另外,去掉了“+”、“/”号后也让大多数如软件可以方便的双击选取。

压缩与解压缩

含义

  • 压缩:将数据使用更具有存储优势的编码算法进行编码。
  • 解压缩:将压缩数据解码还原成原来的形式,以方便使用。

目的

减小数据占用的存储空间。

示例

将下面的文本内容压缩:

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb

使用某种算法压缩后结果为:

compress:a:1024;b:105

注:实际应用场景中的压缩算法非常复杂,上面只是一种演示原型。

压缩是编码吗?

是。所谓编码,即把数据从一种形式转换为另一种形式。压缩过程属于编码过程,解压缩过程属于解码过程。

常见的压缩算法

JPEG、MP3、MP4 等。

序列化

把数据对象(一般是内存中的,例如 JVM 中的对象)转换成字节序列的过程。对象在程序内存里的存放形式是散乱的(存放在不同内存区域、并且由引用进行连接),通过序列化可以把内存中的对象转换成一个字节序列,从而使用 byte[] 等形式进行本地存储或网络传输,在需要的时候进行重新组装(反序列化)来使用。

目的

让内存中的对象可以被存储和传输。

我的博客即将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=209dz85wu1og0

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容