抓取别人网站上的何快商品数据,最直接的速抓办法不是写爬虫,而是取别先看对方有没有开放API。去年我帮朋友盯一个潮牌发新,人宝他非要我写个脚本监控商品页。何快我打开Chrome开发者工具,速抓切到Network面板,取别刷新页面,人宝一眼就看见一个返回JSON的何快请求,里面连库存数量都标得清清楚楚。速抓根本不用解析HTML,取别直接请求那个接口就行。人宝很多电商平台的何快前端渲染早就分离了,数据走XHR或fetch加载,速抓你看到的取别页面只是壳。
但大部分中小型独立站没这么好心。它们把数据塞在HTML里,你得自己挖。我习惯用Python的requests加BeautifulSoup,先抓详情页的静态结构。拿Shopify建站举例,商品信息通常藏在`