前端
爬取汽车之家 二手车产品库
Posts on 煎é±0 次浏览
项目地址:https://github.com/go-crawler/car-prices 目标 最近经常有人在耳边提起汽车之家,也好奇二手车在国内的价格是怎么样的,因此本次的目标站点是 汽车之家 的二手车产品库 分析目标源: 一页共 24 条 含分页,但这个老产品库,在 100 页后会存在问题,因此我们爬取 99 页 可以获取全部城市 共可爬取 19w+ 数据 开始 爬取步骤 获取全部的城市 拼装全部城市 URL 入队列 解析二手车页面结构 下一页 URL 入队列 循环拉取所有分页的二手车数据 循环拉取队列中城市的二手车数据 等待,确定队列中无新的 URL 爬取的二手车数据入库 获取城市 通过页面查看,可发现在城市筛选区可得到全部的二手车城市列表,但是你仔细查阅代码。会发现它是 JS 加载进来的,城市也统一放在了一个变量中
原文:https://eddycjy.com/posts/go/crawler/2018-04-01-cars/



