百科

如何快速抓取别人宝贝

时间:2010-12-5 17:23:32  作者:百科   来源:知识  查看:  评论:0
内容摘要:抓取别人网站上的商品数据,最直接的办法不是写爬虫,而是先看对方有没有开放API。去年我帮朋友盯一个潮牌发新,他非要我写个脚本监控商品页。我打开Chrome开发者工具,切到Network面板,刷新页面,

抓取别人网站上的何快商品数据,最直接的速抓办法不是写爬虫,而是取别先看对方有没有开放API。去年我帮朋友盯一个潮牌发新,人宝他非要我写个脚本监控商品页。何快我打开Chrome开发者工具,速抓切到Network面板,取别刷新页面,人宝一眼就看见一个返回JSON的何快请求,里面连库存数量都标得清清楚楚。速抓根本不用解析HTML,取别直接请求那个接口就行。人宝很多电商平台的何快前端渲染早就分离了,数据走XHR或fetch加载,速抓你看到的取别页面只是壳。

但大部分中小型独立站没这么好心。它们把数据塞在HTML里,你得自己挖。我习惯用Python的requests加BeautifulSoup,先抓详情页的静态结构。拿Shopify建站举例,商品信息通常藏在`