公众号文章一键采集
昨天下午,公众我在电脑前花了二十分钟,号文把某个公众号近半年的章键文章全部存成了PDF。手动操作。采集一篇一篇点开,公众一篇一篇打印。号文手指发酸的章键时候我就在想,这都2025年了,采集怎么还在干这种活。公众 然后我想起来,号文其实有更省事的章键办法。 公众号文章采集这件事,说穿了就是公众找到文章的真实链接,然后批量抓取。号文大部分人卡在第一步——在微信里点开文章,章键复制链接,粘贴到浏览器,发现还要扫码登录。烦。 但如果你用电脑版微信打开文章,右键选择“在默认浏览器中打开”,地址栏里那串 我试过几个工具。有个叫“WeChat Download”的开源软件,粘贴公众号文章链接就能下载成HTML或PDF,还能保留图片。另一个思路是用浏览器插件,比如“Web Scraper”,配置好抓取规则,一次翻页采集整个公众号的历史消息。配置过程大概十分钟,之后就是点一下按钮的事。 有个细节值得说:公众号文章的图片有防盗链机制。直接下载的HTML文件打开后图片可能显示不出来。解决办法是在浏览器里打开文章,用“打印→另存为PDF”的方式保存,图片就能正常嵌入。虽然土,但管用。 我认识一个做竞品分析的朋友,他采集了三十多个公众号的内容,存了十几个G。问他怎么用,他说“还没想好”。这大概是很多人的状态——先存了再说。 采集本身不难,难的是采集之后怎么处理。我自己的习惯是按公众号建文件夹,文件名用“日期+标题”,比如 如果你采集是为了做数据分析,比如统计某个号的关键词频率,那直接抓HTML里的正文文本更合适。Python的 采集工具能帮你把文章搬下来,但搬下来之后呢?我见过有人采集了几百篇,最后真正打开读的不到十分之一。工具解决的是“获取”的问题,解决不了“消化”的问题。 我现在用的是一个笨办法:采集完先不急着归档,花十分钟扫一遍标题和开头,把明显没用的删掉。剩下的按主题分三到五个大类,每个大类里再按时间排。这样下次要找什么,脑子里大概有个位置。 对了,如果你采集的是别人的原创文章,自己看看没问题,别直接往自己号上搬。微信的原创检测不是吃素的,举报一次就够你受的。 工具就在那里,用不用、怎么用,还是看人。浏览器里藏着的采集批量下载
mp.weixin.qq.com/s/xxxxx就是永久链接。这个链接不需要登录也能访问。知道这一点之后,事情就简单了。采集之后的事才是麻烦
20250312_公众号文章一键采集.md。存成Markdown格式,用Obsidian管理,全文搜索的时候比翻微信聊天记录快得多。requests加BeautifulSoup,二十行代码能跑通。注意微信会检测频繁请求,间隔设个两三秒,别把IP搞封了。有些事工具替不了
-
上一篇
-
下一篇
- 随机阅读
- 搜索
-
- 友情链接
-