1
前言
最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)!
本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据!
2
配置抓包工具
本文选择的抓包工具:Fiddler
具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!
安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!)
打开Fiddler后,点击Tools->Options
点击Connections
勾选上对应的选项
由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!
勾选上对应的选项
最后抓包工具Fiddler就配置好了
记得重启Fiddler!重启Fiddler!重启Fiddler!不然可能不生效
3
配置手机代理
首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网)
查看ip命令
目标代理主机信息
ip:192.168.31.195
端口:8888
在wifi无线网处进去,点击配置代理
填写好相关代理信息
在浏览器输入:
点击下载证书后,下面就开始安装(看图操作)
ok,这样手机端就配置完成,下面开始抓取数据!!!
4
抓取数据
打开app之后,Fiddler就已经抓取到数据了
这里可以看到app发送和接收了哪些数据包
为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件
这样我们获取的数据包列表就都是过滤条件内的目标网址
比如点击热榜
对应的https加密数据包如下:
数据包中的数据如下:
提取出url链接
拿到url之后,接着开始编程爬取保存数据。
ok这样就可以将数据获取下来!
5
总结
1.配置抓包工具Fiddler(重点)。
2.ios苹果手机配置证书和设置代理(安卓手机也类似)。
3.简单使用Fiddler(过滤数据包、查看数据包等)。
4.本文以某户为实战,实现了python爬取手机app数据(详细教程,推荐收藏)。
------------- 推荐阅读 -------------
往期精彩
1.分析各类基金近一年『日涨幅』流水线动态图!哭了,真是跌妈不认!
2.教你用python爬取『京东』商品数据,原来这么简单!
3.以『赘婿』为实战案例,手把手教会你用python爬取『爱奇艺』视频弹幕
爬虫入门篇
1.今天只分享python、爬虫入门级学习资料
爬虫框架篇
1.以『B站』为实战案例!手把手教你掌握爬虫必备框架『Scrapy』
2.爬取1907条『课程学习』数据,分析哪类学习资源最受大学生青睐
爬虫反爬篇
1.爬虫遇到反爬机制怎么办? 看看我是如何解决的!
2.python实战破解『梨视频』反爬机制,轻松实现批量视频下载!
3.『异步反爬』别再说自己不会爬取『抖音』视频了!
可视化篇
1.爬取3w条『各种品牌』笔记本电脑数据,统计分析并进行可视化展示!真好看~
2.python爬取7w+『赘婿』弹幕,发现弹幕比剧还精彩!
3.爬取1907条『课程学习』数据,分析哪类学习资源最受大学生青睐
4.python爬取各类基金数据,以『动图可视化』方式展示基金的涨跌情况
5.python爬取『大年初一』热映电影,以『可视化及词云秀』方式带你了解热映电影
6.python爬取淘宝全部『螺蛳粉』数据,看看你真的了解螺蛳粉吗?
7.爬取淘宝热卖商品并可视化分析,看看大家都喜欢买什么!
8.王者荣耀白晶晶皮肤1小时销量突破千万!分析网友评论我发现了原因