2022新版闲鱼爬虫系列文章2(附源码持续更新)

说明

文章首发于HURUWO的博客小站,本平台做同步备份发布。

如有浏览或访问异常图片加载失败或者相关疑问可前往原博客下评论回复。

原文链接 2022新版闲鱼爬虫系列文章1(附源码持续更新)直接点击即可前往访问。

更多技术文章访问本人博客HuRuWo的技术小站,包括Android 逆向 app,闲鱼爬虫 微信爬虫 抖音爬虫 群控 等相关知识

也可关注公众号 'wan_coder' 第一时间收到文章更新

文章目录

2022新版闲鱼爬虫系列文章1总目录(附源码持续更新)

2022新版闲鱼爬虫系列文章2数据拦截(附源码持续更新)

2022新版闲鱼爬虫系列文章3数据保存(附源码持续更新)

2022新版闲鱼爬虫系列文章4消息提醒(附源码持续更新)

前言

这篇文章我们先来解决抓包数据拦截的问题

毕竟只有数据拦截到了才有数据源头。

源代码

想直接体验效果的可以前往源代码

https://github.com/HuRuWo/PickUpTrash

直接开启体验

抓取方案

这段时间测试了众多方案,针对flutter的抓包,终于找到了一套好方案。

就是:socksDroid+charles

一个负责转发
一个负责拦截

完美解决了flutter不走代理的问题。

软件介绍

socksDroid

一个手机上利用vpn做转发的工具 开源地址

https://github.com/smilingott/socksdroid

下载地址

https://apk.support/app/net.typeblog.socks

https://pool.apk.aptoide.com/hispapp/net-typeblog-socks-12-53705477-2a5cf61dcf8a73f591125f6235ca42a9.apk

charles

一个类似fidder的抓包软件 但是为什么用charles而不用fidder呢。

因为charles可以做sock5的服务端接收数据,而fidder不可以。但流量需要转发到soc5,理由就是这么简单。

配置

socksDroid配置

1.首先把手机wifi的代理关掉

2.安装socksDroid填入等下charles里设置的代理

192.168.xx.xx
8889

3.点击右上角 开启vpn代理

charles

1.点开代理设置

2.设置sock5

注册一下 否则会30分钟退出
Registered Name: https://zhile.io
Key: 48891cf209c6d32bf4

现在可以愉快的开始抓包了。

数据包无法解析

关于这点我早在之前已经说过 这里不在重复

1.点击安装证书 本地和手机上都安装上

手机访问 chls.pro/ssl 安装证书

如果实在不行可以选择证书导出到本地 自行移动

2.为什么安装了证书还是无法解析

原因是Android 7.0 系统分为普通证书和系统证书。我们只能安装为普通证书。

一般app为了安全都会不信任普通证书,也就无法解开了。具体解决方案可以参考我的文章 需要root

android平台数据抓取方案分享

当然最简单最不折腾的就是找一台古董机 系统版本小于7.0即可。比如我的14年的魅蓝note2 当然模拟器也可以

抓取效果

总结

抓取拦截方案无误 亲测有效 另外关于

闲鱼数据抓取的项目可以看 https://github.com/HuRuWo/PickUpTrash

2022新版闲鱼爬虫系列文章2(附源码持续更新)》有2个想法

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注