盘点20多个强大且免费的数据源，任何人都能以此来构建AI

当我们谈论当今商业领域和社会中的人工智能时，我们其实指的是机器学习。机器学习是一种应用，通过使用算法（一组指令）变得越来越擅长执行某项特定任务，因为它接触了越来越多与这项任务相关的数据。

这些任务可以是任何任务，从回答问题、创建文本或图像（如ChatGPT或Dall-E等应用所能做的）到识别图像（计算机视觉）或者把自动驾驶汽车从A地导航到B地。

所有这些任务都需要数据，那些想要训练自己的机器学习算法以自动执行日常任务的企业，他们需要一些数据源。

有哪些类型的数据？

企业数据通常分为两类——内部数据和外部数据。

• 内部数据是企业组织自己从运营过程中收集的数据，这通常包括财务数据、客户反馈数据、人力资源数据、运营数据、和其他更多来源的数据。某个组织在监控其自身运营过程中收集的数据被称为专有数据，这种数据很有价值，因为它提供了有关特定业务的信息。
• 外部数据是来自组织外部来源的数据，通常是从如下所列的第三方数据源收集而来。如果数据可供任何人免费使用，则称为开放数据。

除此之外，数据还可以分为结构化、非结构化或半结构化数据。

• 结构化数据是可以很好地、整齐地放入表格中的信息——例如，显示企业销售的产品、时间、地点、价格的销售数据就是内部结构化数据。或者，企业会选择分析历史市场数据和经济指标来预测他们面向市场的未来走势（结构化的外部数据）。
• 非结构化数据则是其他一切，例如图片、视频、文本和社交媒体内容，当然也可以包含有价值的洞察，但更难于分析。不过，AI已经被证明对于从非结构化数据中提取意义特别有用处。例如，图像识别算法可以通过分析店内闭路电视图像（内部非结构化数据）来告诉企业有关客户行为的有用信息，还可以通过分析社交媒体上发布的与业务相关的图像（非结构化外部数据）来找到有价值的洞察。

所幸的是，数据无处不在。政府、研究机构、私营公司、非政府组织都免费提供数据用于研究甚至商业目的。因此，这里罗列了一些2023年可用的免费在线数据最佳来源。

数据搜索引擎和存储库

• google Dataset Search——这实际上是谷歌编目的数据集的搜索引擎；使用这个搜索引擎可以查找你可能需要的几乎所有内容的数据。
• AWS Open Data Search——另一个数据集搜索引擎，由亚马逊的AWS提供。
• Microsoft Research Open Data——由Microsoft收集的免费、开放的数据集，主要以科学为重点。
• UCI machine Learning Repository——由加州大学欧文分校策划和维护的600多个开放数据集的存储库，可用于训练机器学习算法。
• Kaggle Datasets——在线数据科学平台Kaggle还提供了精选的数据集目录，涵盖从大学排名到谷歌搜索趋势、零售销售、在线电影评论和犯罪统计数据的所有内容。
• Reddit R/Datasets——由在线社区网站Reddit的用户提交的庞大数据集，涵盖了数百个主题。

政府和政府间组织的数据集

• Data.Gov——美国政府提供的开放数据门户，托管了政府机构发布的一百万个数据集中的近四分之一数据。
• Data.Census.Gov——如果你专门寻找美国的人口统计数据，这是一个很好的起点！
• Data.EU——欧盟的开放数据门户，包含了来自欧盟组织的数据和成员国政府的数据。
• Data.gov.uk——英国政府机构发布的开放数据集。
• World Health Organization Data——与全球健康和福祉相关的数据集。
• World Bank Open Data——与经济发展、国际金融市场、社会指标和环境问题相关的数据集。

图像数据

• Google Open Images——数以百万计的图像以各种方式分类和标记，用于训练许多不同类型的计算机视觉算法。
• Imag.NET Open Dataset——另一个由标记图像组成的数据集，可免费用于非商业机器学习应用。
• COCO Dataset——Common Objects in Context (COCO)数据集中包含了超过200000张图像，这些图像被选择用于训练对象检测和字幕算法。

声音数据

• Mozilla Common Voice——一个开放的录音数据集，可用于训练任何涉及语音的AI应用。
• AudIOSet——另一个由谷歌策划的数据集，这个数据集专注于声音，包含数十万个10秒样本，这些样本被分解为乐器、车辆和人声等类别。
• Million Song Dataset——来自一百万个当代流行音乐曲目的样本和元数据。

文本数据

• Wikidata——多种不同格式的维基百科文章的数据库下载。
• Common Crawl——一个从万维网上抓取的开放数据存储库，最知名的用途就是对ChatGPT和其他聊天机器人的GPU大型语言模型进行训练。

其他和杂项数据集

• Amazon Reviews——包含约3500万条亚马逊产品评论的数据库，包括产品信息和评级。
• Waymo Open Dataset——Alphabet自动驾驶子公司Waymo公开了通过自动驾驶车辆收集的大量数据，包括来自摄像头和LiDAR传感器数据。
• Apolloscape Dataset——更多的自动驾驶数据，是由百度开源Apollo平台提供的。