https://mp.weixin.qq.com/s/Nvy6fgincN2w7OOC9wdJ9Q
开源数据集介绍**在学习机器学习算法的过程中，我们经常需要数据来学习和试验算法，但是找到一组适合某种机器学习类型的数据却不那么方便。下文对常见的开源数据集进行了汇总。 文献笔记里也有数据
1. UCI数据集
- 类型：比较全面，各类型数据都有涉及
- 网址：http://archive.ics.uci.edu/ml/datasets.php
2. Kaggle竞赛数据集
- 类型：比较全面，各类型数据都有涉及
- 网址：https://www.kaggle.com/datasets
3. ImageNet
- 类型：计算机视觉数据
- 网址：http://image-net.org/
4. VisualData
- 类型：计算机视觉数据
- 网址：https://www.visualdata.io/
5. MS COCO
- 类型：计算机视觉数据
- 网址：http://mscoco.org/
[图片上传中...(image.png-addbb9-1608604554700-0)]
1.a library of plant leaf diseases：https://challenger.ai （Classification of Plant Leaf Diseases Based on Improved Convolutional Neural Network） 打不开了 2020年12月22日
2.agricultural pest and insect pests picture database ( http://bcch.ahnw.gov.cn/Right.aspx)
3.a book, titled with ‘Rice Diseases and Insect Pests Atlas and Control Technology’
4.plantvillage：https://plantvillage.psu.edu/plants 该数据集是被使用次数较多的数据集，由David hughes和marcelsalathe建立，旨在帮助农民大众了解在田间遇到的植物病虫害现象，并对相关的植物病虫害问题进行解答，数据集包含８７８４８张图像，主要有５８类植物的病变及其健康的图像
5．https://www.digipathos-rep.cnptia.embrapa.br （a low shot learning method for rea leaf’s disease identification）digipathos数据集包含了近５万幅图像，显示了２１种植物受到１７１种疾病的影响
6.ImageNet：http://www.image-net.org/
8. http://www.fgvc.org/ FGVC全称为Fine-Grained Visual Categorization，细粒度图像分类
以下数据集均来自：机器学习在植物病害识别研究中的应用（王聃，柴秀娟，2019）
9. 田间玉米图像数据集，是针对玉米北方叶枯病（ＮＬＢ），通过手持相机、吊杆、小型无 人 机 三 种 方 式 拍 摄 采 集 的 三 组 数 据，总 计１８２２２ 张图像，并且由两位专家分别在图片上进行标注，共标注了带有１０５７０５个 ＮＬＢ 病变的图像，使其成为可公开获得的单个植物疾病标注的最大公开图像集
10. 关于黄豆的数据集，是由ＩＮＴＡ提供的关于黄豆、红豆和大豆的图片，总计８６６张图片，都是种子生长１２ｄ后的第一片树叶的背面图像，共采集标本433个：211株大豆、136株红豆、86株白豆
11玉米枯萎病：http://bisque.iplantclooaborative.org
田间玉米图像: https://doi.org/10.1186/s13104-018-3548-6 好像是一篇关于这个数据库的介绍
12黄瓜叶片图像：http://www.agronet.com.cn/
13 水稻病害数据库 http://www.cnak.net/bccsjknew/De-fault.aspx
水稻病害图像数据库: http://bcch.ahnw.gov.cn/Right.aspx
14. ICL dataset (http://www.intelengine.cn/English/database) Intelligent Computing Laboratory (ICL) of Chinese Academy of Sciences from the Botanical Garden of Hefei, China. The dataset has 17,032 leaves from 220 plant species. ICL 数据库包含 220 种植物叶片样本， 每种样本最少 26 个， 最多 1 078 个
02 scikit-learn中的数据集scikit-learn是Python中进行数据挖掘和建模中常用的机器学习工具包。scikit-learn的datasets模块主要提供了一些导入、在线下载及本地生成数据集的方法。模块的主要函数如下所示。
- sklearn.datasets.load_<name>：自带数据集（数据量较小）
- sklearn.datasets.fetch_<name>：在线下载的数据集
- sklearn.datasets.make_<name>：生成指定类型的随机数据集
- sklearn.datasets.load_svmlight_file：svmlight/libsvm格式的数据集
- sklearn.datasets.fetch_mldata：mldata.org在线下载数据集
自带数据集的datasets模块里包含自带数据集，使用load_*加载即可，使用示例如下所示。
from sklearn.datasets import load_irisdata = load_iris()# 查看数据描述print(data.DESCR)X = data.datay = data.target
自带数据集的基本信息及序号30、31、32的自带数据集做简单的介绍如下。读者也可以使用data.DESCR，查看其英文描述。
6. Stanford CoreNLP
- 类型：情感分析数据
- 网址：http://nlp.stanford.edu/sentiment/code.html
7. IMDB
- 类型：情感分析数据
- 网址：http://ai.stanford.edu/~amaas/data/sentiment/
8. Sentiment140
- 类型：情感分析数据
- 网址：http://help.sentiment140.com/for-students/
9. HotspotQA
- 类型：自然语言处理
- 网址：https://hotpotqa.github.io/
10. Enron Email
- 类型：自然语言处理
- 网址：https://www.cs.cmu.edu/~./enron/
11. Amazon
- 类型：自然语言处理
- 网址：https://snap.stanford.edu/data/web-Amazon.html
12. 百度Apolloscapes
- 类型：自动驾驶
- 网址：http://apolloscape.auto/
13. Berkeley DeepDrive
- 类型：自动驾驶
- 网址：http://bdd-data.berkeley.edu/
14. Robotcar
- 类型：自动驾驶
- 网址：http://robotcar-dataset.robots.ox.ac.uk/
15. Data.gov
- 类型：公共政府数据集
- 网址：https://www.data.gov/
16. Food Environment Atlas
17. Annual Survey of School System Finances
18. NCES
- 类型：公共政府数据集
- 网址：https://nces.ed.gov/
19. Data USA
- 类型：公共政府数据集
- 网址：http://datausa.io/
20. 中国国家统计局
- 类型：公共政府数据集
- 网址：http://www.stats.gov.cn/
21. Quandl
- 类型：金融与经济数据集
- 网址：https://www.quandl.com/
22. WorldBank
- 类型：金融与经济数据集
- 网址：https://data.worldbank.org/
23. IMF
- 类型：金融与经济数据集
- 网址：https://www.imf.org/en/Data
24. Markets
- 类型：金融与经济数据集
- 网址：https://markets.ft.com/data/
25. Google Trends
- 类型：金融与经济数据集
- 网址****：http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
26. US Macro Regional
类型：金融与经济数据集
27. Google Audioset
- 类型：语音数据集
- 网址：https://research.google.com/audioset/
28. 2000 HUB5 English
- 类型：语音数据集
- 网址：https://catalog.ldc.upenn.edu/LDC2002T43
29. LibriSpeech
- 类型：语音数据集
- 网址：http://www.openslr.org/12/
30. 波士顿房价数据集
- 调用方法：load_boston
- 模型类型：回归
- 数据规模(样本特征)：50613
这个数据集包含了506处波士顿不同地理位置的房产的房价数据（因变量），房屋以及房屋周围的详细信息（自变量），其中包含城镇犯罪率、一氧化氮浓度、住宅平均房间数等13个维度的数据，波士顿房价数据集能够应用到回归问题上。波士顿房价数据集与属性描述如下所示。
- CRIM：城镇人均犯罪率。
- ZN：住宅用地超过25000平方英尺的比例。
- INDUS：城镇非零售商用土地的比例。
- CHAS：查理斯河空变量（如果边界是河流，则为1；否则为0）。
- NOX：一氧化氮浓度。
- R****M****：住宅平均房间数。
- AGE：1940 年之前建成的自用房屋比例。
- DIS：到波士顿五个中心区域的加权距离。
- RAD：辐射性公路的接近指数。
- TAX：每10000 美元的全值财产税率。
- PTRATIO：城镇师生比例。
- MEDV：自住房的平均房价，以千美元计。
31. 鸢尾花数据集
- 调用方法：load_iris
- 模型类型：分类
- 数据规模(样本特征)：1054
鸢尾花数据集是一个非常经典的数据集，著名的统计学家Fisher在研究判别分析问题时收集了一些关于鸢尾花的数据，包含了150个鸢尾花样本，对应3种鸢尾花，各50个样本，以及它们各自对应的4种关于外形的数据（自变量）。该数据集可用于多分类问题，测量数据如下所示。
- sepal length (cm)：萼片长度。
- sepal width (cm)：萼片宽度。
- petal length (cm)：花瓣长度。
- petal width (cm)：花瓣宽度。
类别共分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。32. 手写数字数据集
- 调用方法：load_digits
- 模型类型：分类
- 数据规模(样本特征)：179764
这个数据集是结构化数据的经典数据，共有1797个样本，每个样本有64个元素，对应一个8×8像素点组成的矩阵，矩阵中值的范围是0～16，代表颜色的深度，控制每一个像素的黑白浓淡，所以每个样本还原到矩阵后代表一个手写体数字。33. 糖尿病数据集
- 调用方法：load_diabetes
- 模型类型：回归
- 数据规模(样本特征)：42210
34. 葡萄酒数据集
- 调用方法：Load_wine
- 模型类型：分类
- 数据规模(样本特征)：17813
35. 乳腺癌数据集
- 调用方法：load_breast_cancer
- 模型类型：分类
- 数据规模(样本特征)：56930
36. 体能训练数据集
- 调用方法：load_linnerud
- 模型类型：多元回归
- 数据规模(样本特征)：203
scikit-learn在线下载数据集的datasets模块包含在线下载数据集的方法，调用fetch_*接口从网络下载，示例如下所示。
from sklearn.datasets import fetch_20newsgroupsnewsgroups_train = fetch_20newsgroups(subset='train')newsgroups_test = fetch_20newsgroups(subset='test')
注意，fetch_接口由于需要从国外网址下载数据，速度可能很慢！在线下载数据集的基本信息如下所示。37. Olivetti脸部图像数据集*
- 调用方法：fetch_olivetti_faces
- 模型类型：降维
- 数据规模(样本特征)：40064*64
38. 20类新闻分类数据集（文本）
- 调用方法：fetch_20newsgroups
- 模型类型：分类
- 数据规模(样本特征)：188461
39. 20类新闻文本数据集（特征向量）
- 调用方法：fetch_20newsgroups_vectorized
- 模型类型：分类
- 数据规模(样本特征)：18846130107
40. 带标签的人脸数据集
- 调用方法：fetch_lfw_people
- 模型类型：分类
- 数据规模(样本特征)：132335828
41. 路透社新闻语料数据集
- 调用方法：fetch_rcv1
- 模型类型：分类
- 数据规模(样本特征)：80441447236
42. 加州住房数据集
- 调用方法：fetch_california_housing
- 模型类型：回归
- 数据规模(样本特征)：206408
43. 森林植被
- 调用方法：fetch_covtype
- 模型类型：多分类
- 数据规模(样本特征)：58101254
scikit-learn包括用于以svmlight/libsvm格式加载数据集的实函数。在这种格式中，每一行都采用表格，此格式特别适用于稀疏数据集。在该模块中，使用SciPy稀疏CSR矩阵，并使用numpy数组，示例如下。svmlight / libsvm格式的公共数据集可以从网上下载。再使用load_svmlight_file 加载
网址：
https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
下载代码示例
from sklearn.datasets import load_svmlight_file
X_train , y_train = load_svmlight_file （"/ path / to / train_dataset.txt " ）newsgroups_test = fetch_20newsgroups(subset='test')
openml.org https://www.openml.org/search?type=data 是机器学习数据和实验的公共存储库，允许每个人上传开放数据集。sklearn.datasets能够从存储库下载数据集。示例如下：
from sklearn.datasets import fetch_openml
mice = fetch_openml(name='miceprotein', version=4)
print(mice.DESCR)
mice.url
