|
Kaggle、免费UCI、数据Google Dataset Search这些名字,集下老手们早就烂熟于心。载网站但真正让新手少走弯路的免费,往往是数据那些藏在犄角旮旯的免费数据集网站。我翻了上百个书签,集下淘汰掉一堆过期链接和需要企业邮箱才能注册的载网站“伪免费”,最后筛出这几个真正能用的免费。 最让我意外的数据是Data.gov。美国政府开放数据平台,集下覆盖农业、载网站气候、免费教育到金融、数据医疗,集下超过20万个数据集。听起来很官方对吧?但里面藏着不少有趣的东西,比如全美各城市的犯罪率统计、航班延误记录、甚至连锁餐厅的卫生检查评分。我去年做餐饮行业分析,就是从这里挖到某州所有寿司店的食品安全数据,比任何商业报告都细。唯一的坑是搜索框反应有点慢,而且部分数据是CSV格式,需要自己清洗——不过这正是练手的好机会。 如果你想要“开箱即用”的体验,FiveThirtyEight的GitHub仓库是个宝藏。这个美国新闻网站把每篇报道背后的原始数据都公开了,从NBA球员的罚球姿势到美国国会投票记录,全部整理成整洁的CSV文件,附带清晰的说明文档。我记得他们有一份关于“美国最受欢迎披萨配料”的民调数据,字段设计得极规范,拿来练pandas简直顺手。缺点就是更新频率不固定,得靠RSS订阅盯梢。 另一个容易被忽略的是Awesome Public Datasets,它本身不是网站,而是GitHub上一个人气极高的列表仓库。按主题分类——生物学、经济学、机器学习、社会科学,甚至还有“奇怪数据”专区,里面收录了比如“全球各国厕所密度”“莎士比亚作品中的词汇频率”这种冷门货。点开每个条目都会跳转到原始来源,相当于一个数据集导航站。我常在里面闲逛,有时候本来想找天气数据,结果被“世界各地的咖啡价格”吸引,一逛就是半小时。 再说个偏门的——World Bank Open Data。别一听世界银行就觉得只搞宏观经济,它的微观数据同样丰富。比如“各国女性企业主比例”“农村通电率”“移动支付使用率”,全是按国家分年份的面板数据,做跨国对比分析特别顺手。我写一篇关于数字鸿沟的作业时,从里面拖了200多个国家的数据,用Python画了个动态气泡图,效果惊艳。唯一要适应的是它网页版下载限速,建议直接用API接口拉。 最后提醒一句,别迷信“大数据”。很多免费数据集都有缺失值、格式混乱、时间跨度短的问题。我见过有人拿着Kaggle上的旧数据集硬套新问题,结果结论完全跑偏。下载前先看更新时间、样本量和字段说明,比到处找“独家资源”重要得多。另外,有些高校实验室(比如斯坦福的SNAP)也公开了社交网络和交通流量数据,质量极高,就是藏得深——用谷歌搜“site:snap.stanford.edu”能挖出来不少好东西。 别把时间浪费在注册一百个网站然后吃灰上。先定好你的分析目标,再按需去这几个地方找,比漫无目的逛有效率得多。要是你手头有更好的渠道,欢迎告诉我——毕竟数据集这东西,永远不嫌多。 |