100+诡异的数据集，20万Eclipse Bug、死囚遗言等

【编者按】在数据爆发式增长的逼迫下，当下数据分析能力已得到长足的发展，机器学习更成为数据处理中必不可缺少的一环。这里，为大家分享Robert Seaton在其个人博客上整理的100+最有趣的数据集，从柏拉图式的爱情到政治竞选再到死刑囚犯，可谓是应有尽有，旨在给大家的模型训练的过程增加一些乐趣。

1. 如果你是智力竞赛节目Jeopardy的参赛选手，你该如何准备？你可以下载这个数据集—— 215930个Jeopardy真题。把这个数据集放到记忆系统中，你就是下一个赢家。

2. 想知道被判死刑是什么样的感受？看看这个数据集—— 德克萨斯州将1984年以来每个死刑犯的最后一句放到了网上。借助这些数据，我们可以进行临刑者的情感分析。

3. 谈到监狱，还有很多关于囚犯的信息，如“犯罪史，家庭背景和个人性格，药物史、酗酒史、治疗方案，枪支所有权和使用史、监狱活动，项目，服务”。

4. 想读他人的邮件么？即使你想，你也没有那个技术，更没有哪个胆量去。来看看安然公司的文集数据库吧。这个数据库包括来自 150多个使用者的100万封邮件，大部分邮件来自Enron公司的管理层，以文件夹的形式呈现。

5. 想了解互联网用户都关心什么？这个问题不好回答，我们可以先回答一个更简单的问题：Reddit（新闻网站）用户都关心什么。有人将 Reddit上250万个帖子进行了分析，公布到了GitHub上。通过这些数据，我们可以了解用户对猫的喜爱程度，一个数据是否支持r/circlejerk。

6. 谈到猫，还有一个数据集上 10000张有注释的猫图片。当我们想训练机器人消灭除了猫以外的所有生物时，这个数据集会非常有用。

7. 如果你对构建金融算法有兴趣，或者只是对预测美国最大经济作物的套利机会感兴趣，那你应该看看 这个数据集，该数据集包含了从2010年9月2日到现在的所有大麻价格数据。

8. 哪些人用了哪些药物？多长时间用一次？

9. 有关象棋比赛的记录最早可追溯到10世纪，产生于巴格达的历史学家和一位学者之间博弈。从那以后，记录象棋比赛中的每一步成为一种传统——尤其是对于那些有重大意义的比赛，比如两个强劲的对手之间的胜负之战。因此，今天的象棋学生们可以借助包含这些比赛记录的丰富数据集进行象棋学习。“Million Base”或许是世界上最大的象棋比赛数据集，声称有220万条比赛记录，你可以通过 此链接下载该数据集。

10. 说起比赛这个主题，少不了足球，我已经找到了 关于足球比赛、足球运动员、球队、得分等信息的数据集。如果这些还不够，你还可以利用S occermetrics API的python包获取更多的数据。我想只要教练们想要战胜对手，这些数据迟早会发挥作用。通常我们说：极客和赌徒区别，就在于极客们通过构建分析模型获得胜利。

11. Google已经开放了所有的Google Book字串数据（n-gram）。每个字串实际上是由n个单词组成的短语，开放的数据集中包括了1-gram到5-gram等不同长度的字串数据。该数据集的建立是“基于1500年到2008年之间出版的520万册书籍”。我们可以通过这一数据集来判断哪些短语被过度使用，哪些短语已经过时，哪些短语面临被淘汰的危险（友情提醒：有些人甚至已经抢先注册了clichealert.com域名）。

12. 亚马逊有大量 开放的数据集（虽说是免费的，但免费只是针对AWS的用户），该数据集包括了从超过280万个网页上抓取的数据。分析抓取的数据，买下有升值空间的网址后，你可以再卖给那些需要做SEO的人，或者你也可以自己用来创建下一个Google。

13. 少数民族的计算机科学跳级考试成绩如何？ 你可以自己查一下然后告诉我。

14. 有一个百万歌曲（Million Song）数据集，包含了一百多首不同的歌曲，包括“舞曲”。如果配备一个晚会专用的媒体播放机可能会更好，这些数据还适用于聚类算法（比如，自动类型检测），但我不太确定能起到多大的作用。许多人试过基于这些数据构建推荐算法，包括 Kagglers和 Cornell的一个团队。一种做法是：按照时间，比如按年分析音乐——70年代、80年代或者90年代（或者找出“模仿-领导“效应，比如一首歌因为风格独特而流行，还会有很多模仿者）。

15. 说道音乐的数据集，last.fm有大量可用的音乐数据。last.fm从它的36万用户那里收集数据，这些数据可能是以“用户，艺术家，以及歌曲的播放信息”这样的形式呈现，这时候用聚类算法自动给音乐分类或者构建推荐系统会更好。

16. 我一想起极客，总会联想到数学和计算机黑客，但是极客远不止这么简单。CescRosselló、Ricardo Alberich和Joe Miro描绘出了一个神奇宇宙的“社交网络图”，使用 Facebook的社交网络图，还可以做一个新的“什么是超级英雄？”测验。

15. Yelp有免费的数据子集，包括餐馆排名和评论数据。通过挖掘Twitter来获取你需要的数据，可以让你拥有可以匹敌Yelp的竞争力。

18.如果你对数据（元数据）中的数据感兴趣，你或许也会对Jürgen Schw?rzler感兴趣，Jürgen Schw?rzler是Google公共数据团队中的一名统计学家，他整理出一个排名，记录下 常被搜索的数据。前5位分别是学校对比、失业、人口、营业税和工资。

19. 我的读者中无疑有一些邪恶的天才，当然也存在一些想要拯救世界的英雄。这两类人可能都会对超级智能机器人感兴趣，但是要建造这样的一个机器人，你必须教会它事实，然而，手动输入1千万条事实是一件痛苦的事情。还好， Freebase为我们减少了工作量，它为我们免费开放的数据集包含了19亿条事实。

20. 你或许没有打算建造一个超级机器人，只要比一般的数学家聪明一点就行。如果是这种情况的话，那你就需要教你的机器人许多数学知识（定义和定理），因此，你可能需要了解一下 Mizar项目，该项目为我们提供了9400条定义和49000条定理。

21. 那我们假设你建造出了这样的机器“数学家”，它能在证明上为你提供帮助，但那又能怎样？你还需要一个能和你在更深层次交流的人，一个能对某些抽象的主题进行概括的人。这样，你就需要给你的机器人“喂”维基百科的数据了，所有 维基百科的数据都是免费开放的。

22. 当你对数学和维基百科都厌倦时（事实上，这些是挣不到钱的），你会决定成为一名软件工程师。这时，你面临让一个对编程没有基本概念的机器来教你编程的尴尬，在哪能找到相关的数据呢？你可以下载 730万个StackOverflow问题（这些都是免费的），所以你可以从StackOverflow和StackExchange两处得到信息来“喂”你的机器（另外还有来自Cross Validated的数据，等等）。

23. 你想过研究一下正真的友谊吗？（试一下吧，实现你成为社会科学家的愿望）。你了解正真的、柏拉图式的爱情（像海豚之间的那种感情）吗？即使暂时还不了解，你也完全可以做到，这要感谢谦虚的作者本人，当然还得感谢Mark Newman，他构建了一个由6 2只海豚组成的亲密的社区——New Zealand，远离伪装和不信任。

24. 是不是左倾的博客通常会链接到其他左倾的博客，而不是右倾的博客？好吧，其实我也不知道，但是这听起来还是很合理的。要特别感谢LadaAdamic的许可，你可以下 载2005年记录下的美国政治超链接网络。

25. 谁更友好一些：是爵士乐音乐家还是海豚？你会发现我们应该将之前提到的海豚数据集和Pablo M. Gleiser、Leon Danon的 爵士乐音乐家网络数据集结合起来分析。

26. 那20世纪30年代的南方妇女和囚犯呢？谁更友好？兄弟会成员和HAM无线电话务员，谁又更友好呢？这些问题都可以用 网络数据集来解决。

27. 将 海豚与Slashdotters比较，结果又会怎么样呢？

28.Web2.0网站（比如Reddit）有时候会被用“投票环”这种方式作弊，很多人故意互相投票，而不在乎内容质量。我们经常会想在学术界会不会也出现这样的情况。Stanford大学有一个在线 Arxiv’s High Energy Physics文献引用网，你会从中发现类似的现象。

29. 我假设读者们都非常聪明，但也许你们还想变得更加富有，这样你就能创建下一个Bill and Melinda Gates基金会，然后拯救世界。那也许你应该开发一些新奇的交易算法。但是，在这种情况下，依据市场历史数据检验一样你的策略会更好，你可以通过此链接获取市场数据。

30. 公开产品数据（ Open Product Data）网站旨在为每个品牌提供免费的条形码数据。经营理念是：建立一个特别的纹身店，只纹条形码，但允许客户选择他们想要的产品，想想看：“你的条形码表达的意义是什么？”“这样的条形码就像是一种信仰。”

31. 做中期天气预测的European Center对收集天气数据情有独钟。如果你要问这和天气有关吗？其实我主要想谈一些我认识到的 关于天气数据的有趣应用：金融行业。我很尊敬金融，主要是因为有些人做了一些疯狂的事情。我听说过中微子的应用实际上是 “因为金融”。你的算法可以解决购买印尼芝麻种子期货问题吗？有了天气数据，也许就可以。

32. 如果你想了解 食物的营养数据，美国农业部可以为你提供数据。你可以开发一个判断用户是否类食物过敏的手机APP。然后说服学校给每个学生购买这个APP。

33. 想精通语言，字典必不可少，但谈到 单词数据，没有什么字典比WordNet更优秀。WordNet侧重于语言的结构，这点其它字典无法比拟。

34. NASA公布了 太阳系以外的行星数据集。买一个飞船，你可以飞到那里建一个秘密基地。

35. 联邦铁路管理局有“ 关于铁路事故和意外的安全信息，库存和穿过的高速公路数据”。一些组织（如纽约时报）可以通过这些数据判断贫穷地区的人们是否更容易发生火车事故等。

36. 如果你需要关于 图书的数据，你可以到Open Library下载免费的数据集。

37. 美国的无人机杀害了谁？如果你 对巴基斯坦地区感兴趣，你可以查看这个数据集。

38. 如果你想通过自动导入引用数据构建Papers2的竞争对手，你可以使 用CrossRef的元数据查询。

39. Mnemosyne是一个虚拟卡片应用，通过间隔重复辅助记忆。几年来，这个项目一直在搜索用户数据，现在 gwern公司同意将这些数据免费公开若干月。研究者们可以在这些数据上运行机器学习算法，了解更多关于人类记忆的信息。

40. 婚礼上邀请贾斯丁?比伯要花多少钱？ Priceconomics网站列举了雇佣各种明星的价格。你可以借助这些数据计算流行度和价格的比率。

41. 有些数据集可以更好的预测股市。2011年， 研究员发现他们可以通过分析推特数据预测股市：他们分析与上市 公司相关的推文，然后计算一个“情绪得分”，通过这个得分预测股市。

42. 2014年，Clifford Winston和Fred Mannering指出，美国在车辆交通上每年花费千亿。我们可以通过数据集提高交通效率。例如，我们可以通过对历史交通数据进行算法分析，预测交通拥挤时段、路段。 data.gov网站提供了相关数据。

43. 如果你想开发一个跟踪实时路况的app，你需要 不同的数据源。

44. 如果你想开发反垃圾软件服务，或者只是分析通常垃圾邮件的内容，你需要数据。 UCIrvine提供这些数据。

45. 如果你想做反垃圾短信服务，你依旧可以找到 相关数据。

46. 有大量的数据可被R操作，你所需的只是安装一个包。 Ecdat是其中的一个包，包括大量的计算数据。我还见到过对数学水平和抽烟量关系的分析。

47. 有没有想过一个人会参加多个公司的董事会，比如：Condoleezza Rice（美国前国务卿赖斯）加上和她密切相关的政府监控，或许这对于Dropbox来说不能算是最好的选择。好吧，有了 这个数据集，你也可以做到，但这只针对挪威——因为该数据集是由挪威的上市公司组成的网络数据。

48. 有没有看过：地方政府会根据一个人的社会关系来判断某人是不是恐怖分子？实际上， 你也可以得到这些数据，分析出恐怖分子的社交网络。

49. 围绕维基百科的官僚机构一直存在很大的争论。如何才能成为一个真正的维基百科大人物？谁才是维基百科最理想的管理者？当然，可以通过投票， 数据可以免费下载。

50. 哈佛大学开放了哈佛大学图书馆持有的“ 超过1200万的材料数据记录”数据集，包括了书籍、期刊、电子资源、手稿、档案材料、音频、视频等各种形式的资料。

51. 如果你需要为学生提供一个小型数据集，可以看一下 DASL。比如解决这样一个问题： 由不孕雄性野马主导野马群体会不会降低野马群体的规模？

52. GET-Evidence已经提供了可下载的 公共基因组。我怀疑Steven Pinker的个人数据也在其中，或许你也可以克隆一个自己。

53. 说到基因组，已经有1000个基因组项目提供了大约260TB可供下载的数据。

54. 在列出的这些数据集中要说什么是最小数据集， 或许就是泰坦尼克号上男性和女性的幸存率，女乘客幸存率是男乘客的四倍。

55. 你想过对食物进行具体细分吗？如果是，那就恭喜你了，你可以在此处下载 相关数据集（感谢加拿大）。

57. 有一个与前者类似的数据库，不过记录是 人体内代谢物的相关数据。我不确定你可以用这些数据做什么，但也许有人可以用这个来进行病毒式营销——xxx营养之道。 

58. 参考能量解集数据集包括大概 500G关于家庭能量使用的数据。我们可以利用这些数据提高家庭能量效率，或者对家庭能量费用消耗进行可视化展示。

59. 开发了一个新的图像压缩算法，需要数据进行测试？试试 CSAIL的小图像数据集。

60. 如果觉得这些图像太小了，试试 ImageNet数据集。如果你想训练一个算法识别独角鲸，可以先用这些数据训练。

61. 还不够？试试 维基百科所有的图片。

62. 假设你在 构建下一代图书阅读器，你希望段落可以自动与相应的维基百科文章相关联。怎么做？斯坦福大学和谷歌研究中心已经搭建了 英文段落映射维基文章的数据库，你可以下载他们的 论文。

63. 俄罗斯搜索引擎Yandex提供了一系列 搜索数据。也就是，如果一个人搜索了关键词，他们会点击哪些内容？不过，提供的都是俄罗斯人的搜索结果。

64. 人们通常在维基百科上做哪些编辑修订？ 也有数据库是关于这一内容的。

65. 谷歌有一个 面向数据集的搜索引擎，你造么？

66. Pew研究机构有很多免费的数据集，其中包括他们的 “全球态度项目”数据集。通过这个数据集我们可以了解：世界是否变得越来越进步？随着时间的推移，人们对宗教的态度是如何变化的？

67. 谈到公众态度随时间的变化，你可以下载从 1972年到2012年的综合社会调查数据集，这个数据集也可以回答这两个问题。

68. 有一个有趣的数学问题叫名人问题，你需要找出一个每个人都认识，但是不认识任何人的人。但生活中真的有名人问题么？试试 雅虎的明星脸集。

69. 需要2009年以来的十亿个网页？需要训练一个从不停止的语言学习者NELL？ 是的，你可以做到。

70. 你知不知道你可以 下载Arxiv上所有的PDF?一旦我们可以教会机器自然语言，我们就可以让计算机阅读所有文档为我们提取重点。

71. 如果你需要任何 产业的经济状况数据，试试census.gov的行业统计信息。如果经济状况不好，你会在数据中找到证据。

72. 你可以下载大量 Usenet帖子的数据。这些数据对某些文本分析项目或机器学习算法（如拼写检查）很有用。

73. Nick Bostrom有一篇很有意思的文章 “预防人类灭绝是头等大事”。该文章提出，考虑到人类灭绝的危害，再小的灭绝危险都是需要警惕的。通过分析从 公元前2500年到2012年流星撞击地球记录，我们可以更好的应对这个问题。

74. 性别和精神疾病对犯罪影响有多大？ 有数据集是针对这个问题的。

75. 谈到精神疾病，如果你想了解精神疾病是如何影响少数民族的， 试试这个数据库。

76. 现在有很多孤男寡女，其中不乏一些具备卓越分析的人。 试试这个数据集“对比传统夫妇和不传统夫妇，美国人是如何遇到他们另一半的”，寻找遇到另一半的最好办法。 

77. 你可以通过此链接下载大量所谓的 “青少年健康”的数据，而且还包括了大量关系数据和生物指标数据。

78. 我有一个问题：现代工作与过去工作相比，哪个更糟糕？ 有五组调查调查了关于不同职业群体对该问题的回答，我已经看到了这样一篇文章——“我们可以告诉你：昨天是不是比今天更好？”

79. 斯坦福大学有 3500万条亚马逊商品评价可供下载。你可以用这个做很多事情：使用它来改善推荐系统的算法，找出评论中是否存在“模仿-领袖”效应（比如：早期的积极评价能否带来更多的积极评价？）

80. 基于我过去的一些研究，搜索关键字 “关于连环杀手的数据集”时发现两个特点：1）很具体；2）很流行，但我希望这和人的品味没有太大关系。当然，我找到了相关的数据集，在此特别感谢连环杀手信息中心。

81. 这确实是一个让人有些毛骨悚然的名字，Maryland大学还有个“全球恐怖主义数据库”，这是一组由 11.3万个恐怖事件组成的数据集。你可以在填完表后下载它。可视化这些数据，对一些易受影响的地区进行预测，可以防止恐怖袭击，建立提前预警系统。

82. MNIST数据库是机器学习领域的一个经典。它是由一组带标签的手写字符组成，这对OCR算法来说是必不可少的。如今，一些算法的判断能力甚至比人类法官还要准确！在将来，我们会要求让机器来做判决。

83. UCI为我们提供了 扑克牌数据集。我不擅长玩扑克，但我敢肯定关于扑克一定会有一些有趣的分析可做。我听说在扑克界人类仍然比机器更有优势，但我觉得这种说法不太可靠。

84. UCI的另一个数据集：其中，图像被简单的分为广告和非广告两种。基于该数据集可以自动拦截广告或进行垃圾邮件的检测，也许还能应用到Google Glass中，过滤掉现实生活中的广告，那一定是一件很酷的事情。我们看到的将不再是一个广告牌，而是自然景观的虚拟扩展。

85. 还记得Star Wars Kid崩溃事件吗？Attack of the Show将它评为了史上第一病毒视屏。Andy Baio策划了这一事件，还杜撰了“Star Wars Kid”这一词，并将他的 服务器日志公开发表。

86. 怎样知道在Wordpress上谁链接到了谁（或者是某物）？可视化网络是件很了不起的事情，但如果它能揭示一些关于“超节点”的信息，或许会更好，“超节点”是指被许多节点连接或者连接到许多节点的节点（也许两者都有）。如果你有兴趣， 也可以利用这些数据将不同的人归类。

87. Obama是更喜欢石油大亨？还是极端环保主义者？或是玉米游说团体？是谁在背后支持Herman Cain？我们已经可以下载到 2012总统竞选的财务数据，用来分析哪些行业偏向于哪位候选人想必是也极好的。

88. 哪所私立大学最有价值？

89. 哪所公立大学最有价值？

90. 按州统计的香烟数据。肯塔基州抽的最多，西弗吉尼亚州第二。 鉴于烟草的巨大社会危害，一个不错的分析也许可以挽救很多人的生命。

91. 在2008年12月5日，从Pirate Bay可以下载到什么？

92. 想要构建一个Reddit推荐引擎吗？（或换个说法会更好——你觉得把那些愚蠢却流行的意见过滤掉怎么样？）不错，用Redditor完全可以做到这一点，Redditor会是个不错的推荐引擎。

93. 全球健康数据。用这些数据来确定改善世界健康的方法会很有效，像血吸虫病控制倡议一样，这一项目被GiveWell列为评价最高的慈善机构之一。

94. 美国从1960年到2012年的犯罪事件。谈论犯罪虽然在道德上令人反感，但在电视上节目开个玩笑还是无伤大雅的。

95. 发起一项为浴室中的Yelp运动怎么样？

96. 你知道在加拿大，杂货店的畅销品是卡夫晚餐（aka通心粉和奶酪）吗？我想知道它在比利时或者台湾销售的怎么样，这里为我们提供了 部分超市的数据。

97. 火狐浏览器使用情况的数据。记录比如选项卡的使用数量，活跃状态的时间，隐私标签打开的数目。虽然隐私标签这一词或许会让一些人浮想联翩，但用来比较互联网与实际数据之间准确度还是很不错的。

98. 非常强大的一个数据：Mozilla将Mozilla和Eclipse中发现的 超过20万个bug放到一个数据集中。我很想看看哪些bug导致的奔溃最常见，以及如何预防这些奔溃，当然也只有参考这些数据，才能设计出更好的编程语言。

99. 如果你对设计调度算法感兴趣的话，你会对这一消息感兴趣： Google开放了他们在集群上作业排序的数据集。开发针对数据集的算法可能会帮助未来验证你的发现。毕竟，明天的桌面系统很可能会像今天数据中心一样强大。

100. Techcrunch开放了一个具有超过400 000家公司、投资者和企业家的档案的数据集，此外还有45,000轮投资记录，这或许是一个逆向发现市场需求和投资者的投资倾向的好方法。

101. 125万个delicious.com书签。

102. 美国主要的军事设施分布在哪？

103. 谁是H1-B信用卡的接受者？你可能想知道一些国家是否接受信用卡，或者哪些公司接受大部分的信用卡消费。

104. Twitter用户很有可能被Hacker News的读者跟踪。

105. 这里有 1000年到1903年之间的所有地震数据。将这些数据“喂”给一个神经网络，也许能看到一些关于地震的预测。

106. 我常常想会不会有人做在线人格测试发现比大多数人更神经质？从很多在线性格测试项目中可以得到 大量可用的数据，将性格测试的答案与大众的答案进行比较，就可以找出那些比较神经质的人。

107. 脏话表 

原文连接： 100+ Interesting Data Sets for Statistics（翻译/蔡仁君、毛梦琪 责编/仲浩）