当你写爬虫抓不到APP请求包的时候该怎么办?

2020-11-18 14:34:00

参考地址 当你写爬虫抓不到APP请求包的时候该怎么办?

当你写爬虫抓不到APP请求包的时候该怎么办?【高级篇-混淆导致通用Hook工具失效】

提示:因为高级篇以后的APP将无法使用很通用的方式处理,每种类型甚至是每个APP的反抓包处理方式都会有差别,所以这个系列以后会以【高级篇-具体类型】的形式来写。

这篇文章的主要内容是解决在遇到APP没有使用Android自带的HTTP客户端进行请求,并且对HTTP客户端的代码进行了混淆,导致通用工具JustTrustMe失效的问题。而中级篇中除了JustTrustMe以外的所有方法也都会对这种情况束手无策,原因是中级篇中的1、3、4方法本质上针对的是Android 7.0+系统增加的SSL Pinning方案,而无法对各个HTTP客户端自己实现的检测方案生效。(听说有个叫车速拍的APP就是这种类型呢)

那么应该怎么做才能抓到这类APP的包呢?很简单,依然是使用JustTrustMe之类的Hook工具就好了,只不过我们需要针对混淆后的名字对原来Hook的部分进行特殊处理。


这里我专门写了一个样例APP来进行演示(别抓我,我什么都不知道),这个APP做的事情就是在你点击了按钮之后,对百度首页发起一次请求,但是这个请求在没有破解SSL Pinning的正常情况下是不可能成功的,因为我设置的是一个随便输入的证书哈希,所以在请求的时候会因为正常的证书哈希与我随便输入的哈希不同导致出现请求失败的情况。


样例APP代码


这个APP我已经编译好放到GitHub上了,有两个版本,一个是对代码进行过混淆的,一个是没混淆的,文末会有下载地址,读者可以下载下来自己玩玩。


两个编译好的APK


开始演示之前说一下测试机的配置吧,这里用的测试机是Android 8.1.0的,已经Root+Xposed,同时已经安装并激活了JustTrustMe。


测试机系统信息



Xposed模块管理界面-JustTrustMe已开启



我们先来看一下没混淆过代码的版本,装上之后打开它,然后点击“点击发送请求”按钮。


样例APP界面



请求成功


不出意外的话会出现请求成功的字样,如果出现请求失败的话可能是你网络问题,证书问题会提示“证书验证失败”。

接下来我们看看混淆过代码的版本,操作同上。


证书验证失败


这次就是证书验证失败了,JustTrustMe并没有正常生效。


我们将这两个APK都放到Jadx中反编译一下看看。


在Jadx中反编译两个样例APK


可以看到混淆过的版本里,okhttp3下的所有类名已经变成了abcd这种名字。

然后我们来看一下JustTrustMe的代码。


JustTrustMe代码中Hook okhttp3的证书验证部分


可以看到它的代码中是对okhttp3.CertificatePinner类下的check方法进行Hook的,这个CertificatePinner类和check方法在没混淆过的APK中可以很清楚地看到。


反编译检测代码1



反编译检测代码2


那么现在JustTrustMe面对混淆后的版本就失效的原因已经很清晰了,因为它找不到这个okhttp3.CertificatePinner.check,所以根本就不可能Hook到检测方法,自然不会有任何效果。

所以...应该怎么办呢?这里依然是给出多种方法供读者选择:

  1. 修改JustTrustMe代码中Hook的类名和方法名然后重新编译

很简单,找到对应的检测方法,把JustTrustMe代码中Hook的className和methodName改成混淆后的名字即可,比如在这个混淆后的样例APP里,okhttp3.CertificatePinner.check变成了okhttp3.f.a。


反编译检测代码-混淆后


我们修改JustTrustMe中的Hook部分,同样改为f和a。




修改JustTrustMe对okhttp3的证书检测Hook


改完之后编译一下,安装到手机上替换原来的就好了。

  1. 使用Frida进行Hook

这个方法比方法1要更方便、更直接一些,因为需要的时候直接修改脚本马上就能用,不需要重新编译、重启手机或APP,这里直接拿瘦蛟舞大佬写的解除SSL Pinning脚本修改一下,同样是修改Hook okhttp3.CertificatePinner.check的部分,改成混淆后的名字即可。


修改瘦蛟舞的ObjectionUnpinningPlus脚本


  1. 魔改JustTrustMe,增加一个可以在运行时根据情况调整每种HTTP客户端的SSL Pinning检测部分的类名和方法名的功能

这个我暂时没空弄,感兴趣的同学可以自己实现一下。

  1. 魔改JustTrustMe,对Hook部分增加动态适配功能,做到即使开发者对代码进行了混淆也能自动找到真实的检测类和方法

同上,实现方式可以参考微信巫师框架部分的自动适配代码,实现以后理论上来讲是最方便的办法之一,因为是完全自动的操作,不需要人工介入。

  1. 修改反编译APP得到的代码再打包回去

我觉得应该没人会用这么蠢的办法吧...用Hook的方式做起来要方便太多了。

选择任意一种方法操作后,再打开混淆版本的APP就可以正常请求了。


这时候可能会有同学要问了,怎么样知道APP用的是哪个HTTP客户端?又怎么样快速定位混淆后的检测方法位置呢?

很简单,我们先关掉破解工具,连上代理然后抓个包看看混淆版本APP的请求。


抓包查看请求



User-Agent部分


和平时遇到SSL Pinning的情况一样,这里只会抓到一个CONNECT请求,注意右边的headers,从User-Agent中可以看出这个APP使用的是okhttp3,那么我们在混淆后的代码中定位检测部分代码的位置时,就只需要对照着okhttp3的原始代码来找就好了(其他HTTP客户端同理)。当然了,也不排除有些APP会把User-Agent改掉,如果从User-Agent上看不出来的话,那就看一下反编译出来的源代码部分结构,看看有没有像okhttp3之类的这种特别明显的HTTP客户端的名字,有的话就把它干掉就好了。

点我查看文中样例APP代码|下载编译好的样例APP


  • 2020-01-08 22:03:07

    修改MAC系统下默认PHP版本

    今天在使用mac时遇到了一个问题,因为需要composer拉取laravel5.6,但是提示我php版本过低,但是我本人使用的是集成环境MAMP,已经切换了php7.2的版本,这个为什么没有生效呢?经检查是因为composer检测得是mac下环境变量生效的php版本

  • 2020-01-08 23:37:08

    laravel通过图片流返回图片

    我用laravel的字母头像生成框架Laravolt\Avatar生成的base64头像,但我想做个通用但,直接返回图片,我还是根据以往但经验 改写header但返回值为图片返回值,结果返回失败,一堆乱吗,不知道为啥。 后来用了laravel自带但返回图片但方法,结果ok。记录下

  • 2020-01-08 23:45:06

    laravel response 对象一些常用功能点

    通常,我们并不只是从路由动作简单返回字符串和数组,大多数情况下,都会返回一个完整的 Illuminate\Http\Response 实例或 视图。

  • 2020-01-08 23:49:13

    laravel 存储base64格式图片

    一、总结 一句话总结: 二、laravel存储64位图片实例 三、laravel 存储前端上传base64图片 四、php将base64字符串转换为图片

  • 2020-01-09 01:24:28

    mac安装ImageMagick与PHP扩展Imagick

    mac安装ImageMagick和php7.2扩展Imagick,从网上搜索教程,感觉好少,有的教程看起来也很麻烦,不过安装起来,没想到竟然如此简单。不非纯灰之力。

  • 2020-01-09 18:49:17

    pecl安装卸载模块,如何自动配置php.ini

    利用pecl安装php模块,可能需要手工配置php.ini,以加载或禁止相关模块。那么pecl install是不是可以自动配置php.ini呢?答案是肯定的。在pecl isntall的提示信息中,苏南大叔找到了下面的类似提示信息:configuration option "php_ini" is not set to php.ini location。这个设置点,就是本文的关键所在。设置好"php_ini"之后,pecl就可以自动修改php.ini中的extension=了。

  • 2020-01-10 10:23:08

    父元素设置min-height子元素设置100%问题

    父元素设置min-height子元素高度设置100%取不到值,这是因为子元素 div设置 height:100%;只有当父级元素满足min-height:1000px;设置的条件才触发;浏览器默认是不会触发的,所以子元素的100%的高度继承就失效了。min-height 是在 height 计算之后再套用的.