自编码,又称自编码器(autoencoder),是神经网络的一种,经过训练后能尝试将输入复制到输出。自编码器(autoencoder)内部有一个隐藏层h,可以产生编码(code)表示输入。该网络可以看作由两部分组成:一个由函数h = f(x) 表示的编码器和一个生成重构的解码器r = g(h)。
自编码器(Autoencoder,AE)是一个3层或者大于3层的神经网络,将输入表达X编码为一个新的表达Y,然后再将Y解码回X。这是一个非监督学习算法,使用反向传播算法来训练网络使得输出等于输入。当向网络中添加一些限制时,可以学到一些关于输入表达的有趣结构。当隐含层节点数d比输入层节点数n小时,可以得到一个输入的压缩表达。当d比n大时,添加一些限制,比如稀疏限制,会得到类似于稀疏编码的结果。
传统自编码器被用于降维或特征学习。近年来,自编码器与潜变量模型理论的联系将自编码器带到了生成式建模的前沿。自编码器可以被看作是前馈网络的一个特例,并且可以使用完全相同的技术进行训练,通常使用小批量梯度下降法(其中梯度基于反向传播计算) 。不同于一般的前馈网络,自编码器也可以使用再循环(recirculation)训练 (Hinton and McClelland, 1988),这种学习算法基于比较原始输入的激活和重构输入的激活。
测试协议
我们建议采用以下标准化测试方案来报告结果:
(1)对未贴标签的进行无监督培训。
(2)使用培训数据中100个示例的10倍(预定义)对标记数据进行监督培训。提供了用于每个褶皱的示例的索引。
(3)报告完整测试集的平均精度。
二进制文件(来自Martin Tutek的python代码)
(1)二进制文件分为数据文件和带后缀的标签文件:train_x.bin、train_y.bin、test_x.bin和test_y.bin。
(2)在每个值中,这些值存储为uint8的压缩数组。图像以列主顺序存储,一次存储一个通道。也就是说(RGB),前96*96值为红色通道,后96*96值为绿色,最后一个值为蓝色。标签在1到10之间。
(3)未标记的数据集unlabeled.bin的格式相同,但没有“y.bin”文件。 包含一个class_names.txt文件供参考,每行一个类名。 文件fold_indexes.txt包含用于每个训练折叠的示例的(零基)索引。第一行包含第一个折叠、第二个折叠、第二个折叠等的索引。
感谢Martin Tutek让python代码加载/查看stl-10!Python代码
以下是STL_10的数据内部:
解压
tar –xvf file.tar //解压 tar包
tar -xzvf file.tar.gz //解压tar.gz
tar -xjvf file.tar.bz2 //解压 tar.bz2
tar –xZvf file.tar.Z //解压tar.Z
unrar e file.rar //解压rar
unzip file.zip //解压zip
总结
1、*.tar 用 tar –xvf 解压
2、*.gz 用 gzip -d或者gunzip 解压
3、*.tar.gz和*.tgz 用 tar –xzf 解压
4、*.bz2 用 bzip2 -d或者用bunzip2 解压
5、*.tar.bz2用tar –xjf 解压
6、*.Z 用 uncompress 解压
7、*.tar.Z 用tar –xZf 解压
8、*.rar 用 unrar e解压
9、*.zip 用 unzip 解压
下面开始看代码:
ser = serial.Serial(0) 是打开第一个串口(实例化一个串口)
好复杂,决定放弃,突然想起来mttk这个人已经和stl_10数据集进行了斗争,那么直接跑一下它的代码吧。进行了一些修改。(主要是,把下载数据集注释掉了,因为我已经下载过数据集了,所以把数据的path进行了更改,其他部分没有改动)好啦,就运行好了,人家已经把处理好,分好类的img存储起来, 存储在一个叫做img的文件夹中,具体如下:
下面开始手撕代码:
狮虎解答:可能是如果直接imread的话,就是(2,0,1),但是这个数据集是数组,所以可能就不太一样。
该数组的大小为5000:
还有一部分代码是为了获取Python版本号:
import os, sys, tarfile, errno
import os:os 模块在运维工作中是很常用的一个模块。通过os模块调用系统命令。os模块可以跨平台使用。
import errno:获取python中异常类型的错误列表(Errno)
import tarfile:tarfile模块是Python的标准模块之一,能够方便读取tar归档文件,还可以处理使用gzip和bz2压缩归档文件tar.gz和tar.bz2。
tarfile的语法格式:
tarfile.open(name=None, mode='r', fileobj=None, bufsize=10240, **kwargs)
import sys:系统相关的信息模块 import sys
sys.argv是一个list,包含所有的命令行参数.
sys.stdout sys.stdin sys.stderr 分别表示标准输入输出,错误输出的文件对象.
sys.stdin.readline() 从标准输入读一行 sys.stdout.write("a") 屏幕输出a
sys.exit(exit_code) 退出程序
sys.modules 是一个dictionary,表示系统中所有可用的module
sys.platform 得到运行的操作系统环境
sys.path 是一个list,指明所有查找module,package的路径.
那就让我们站在巨人的肩膀上,利用已经处理好的数据,开心滴做研究吧~