PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_1(附源码持续更新)

前言

文章涉及内容 闲鱼爬虫 python闲鱼爬虫 闲鱼数据采集 闲鱼自动化数据
涉及技术 python爬虫实战 python爬虫最佳实践 Android爬虫 Android自动化

本系列文章只做自用,具体功能实现未考虑所有情况,只做抛砖引玉之用。如有无法正常使用,请依据源码配合文章讲解自行修改。

代码开源地址

https://github.com/HuRuWo/PickUpTrash

整个系列文章链接

PYTHON爬虫实战:垃圾佬闲鱼爬虫、转转爬虫数据整合自用二手急速响应捡垃圾平台(附源码持续更新)-1

PYTHON爬虫实战:垃圾佬闲鱼爬虫、转转爬虫数据整合自用二手急速响应捡垃圾平台(附源码持续更新)-2

PYTHON爬虫实战:垃圾佬闲鱼爬虫、转转爬虫数据整合自用二手急速响应捡垃圾平台(附源码持续更新)-3

需求

做一个光速捡垃圾的响应平台,后期可以做出自动下单等功能。

  • 1.无需盯住自动提示
  • 2.设置价格品类 智能推送
  • 3.响应时间不超过30s

二手平台选择调研

平台选择

集中来看 二手市场中品类多 用户多的只有闲鱼 转转 还有 爱回收 算是比较大的。其他的要么用户量太少 要么平台太单一没有收集价值。

平台选择 闲鱼 转转

数据来源就是 闲鱼爬虫数据采集 转转爬虫数据采集了

数据来源

数据来源 主要来自两大平台的 网页/app/微信小程序

其中闲鱼网页和小程序都没有 只有app
其中转转 有小程序 也有app

  1. 爬取闲鱼数据来源:闲鱼app
  2. 爬取转转数据来源:转转app 转转小程序

有了爬取闲鱼 爬取转转的数据后,后面的事情就简单了。无论我们是直接推送还是保存浏览,甚至做出一个闲鱼网页版入口,转转网页版入口,闲鱼pc版入口,转转pc版入口都行。

技术架构与选型

流程图

先来张粗略的流程图

技术选项

编程语言python 做爬虫部分
编程语言python 做逻辑判断部分
数据储存 初期使用sqlite即可
编程语言python 做消息推送

最终实现效果

总结

整个架构算是搭起来了,后面就是进入实战部分。
关于这部分我要把代码整理了,如果有需要的可以先点赞关注我。
我会把整个代码流程放出来一起探讨接下来的可能性,如果没人感兴趣那就算了。

PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_1(附源码持续更新)》有7个想法

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注