相关动态
使用Scrapy和Fiddler爬取雪球app基金频道新闻列表数据
2024-12-21 23:40

Fiddler 是一个 HTTP 协议调试代理工具,是由 C# 写出来的,它包含一个简单却功能强大的基于 Jscript.NET 事件脚本子系统,灵活性极高,并且能够使用 .net 框架语言进行扩展,可以记录并检查所有客户端和服务器之间的 HTTP 和 HTTPS 请求,允许你监视、设置断点、甚至是修改输入输出数据,也可以进行请求构造、设置网络丢包和延迟进行 APP 弱网测试等。

Web Debugging Proxy and Troubleshooting Tools|Fiddler

Fiddler 的原理是以 Web 代理服务器的形式进行工作的,代理(Proxy)就是在客户端和服务器之间设置一道关卡,对 Web 客户端来说,Fiddler(代理)扮演的是服务器的角色,接受请求报文,返回相应报文;对于 Web 服务器来说,代理扮演的是客户端的角色,发送 Web 请求报文,接受 Web 相应报文 

Capture Traffic(或 F12:是个开关,可以控制是否把 Fiddler 注册为系统代理。当把 Fiddler 注册为系统代理时,所有依赖于 WinINET 代理的应用(如 IE 浏览器和其他浏览器)会把 Web 请求发送给 Fiddler
New Viewer:是用来打开一个新的 fiddler 窗口
Load Archive:用于重新加载之前保存的 fildder 文档
Save:保存 session 会话
import Sessions:导入 session 会话
Export Sessions:导出 session 会话
Exit:退出

Copy:下面的几个子菜单分别支持复制选中 Session 的某些信息
Remove:下面的子菜单分别支持从 Web Session 列表中删除全部、选择或未选中的 Session
Select All(或 Ctrl + A:命令选择 Sessions 列表的所有内容
Paste as Session:命令会基于剪贴板上的内容,生成一个或多个模拟的 Web Session
Find Session…(或 Ctrl + F:命令会打开 Find Session 窗口,搜索捕获到的数据流

Hide Image Request:触发器控制是否在 Web Session 列表中显示图像类 Session
Hide CONNECTS:触发器控制是否在 Web Session 列表中显示使用 ConNECT 请求方法的 Session
Automatic Breakpoints:子菜单控制 Fiddler 是否会自动在 Before Requests 或 After Responses 处设置断点。Ignore Image 触发器控制这些断点是否作用于图片请求
Customize Rules…(或 Ctrl + R:菜单命令会使用配置的脚本编辑器打开当前的 Fiddlerscript 文件
Require Proxy Authentication:如果选中 Require Proxy Authentication 菜单项,所有未提交 Proxy-Authorization 请求头的请求会返回 HTTP/407 响应,要求客户端安装证书,该规则可以用于测试 HTTP 客户端,确保这些规则在有证书的客户端服务器上可以正常工作
Apply GZIP Encoding:如果选中 Apply GZIP Encoding 菜单项,只要请求包含具有 gzip 标识的 Accept-Encoding 请求头,就会对除了图片以外的所有响应使用 GZIP HTTP 进行压缩。该规则用于测试使用 GZIP 选项支持的客户端是否真正对内容进行压缩。该选项还支持性能调优,并且计算传输的压缩后的数据流的字节数
Remove All Encoding:如果选中 Remove All Encoding,会删除所有请求和响应的 HTTP 内容编码和传输编码
Hide 304s:选项会隐藏包含 HTTP/304 Not Modified 状态的响应的所有 Session
Request Japanese Content:选项会把所有请求的 Accept-Encoding 请求头设置或替换为 ja 标识,表示客户端希望响应以日语形式发送
User-Agents:子菜单支持把所有请求的 User-Agent 请求头设置或替换成指定值
performance:子菜单提供影响 Web性能的简单选项

Options…:打开 Fiddler Options 窗口,针对 fiddler 的设置
WinINET Options…:打开 IE的Internet Options 窗口,windows 的 ie 设置
Clear WinINET Cache(或 Ctrl + Shift + X:选项会清空 IE 和其他应用中所使用的 WinINET 缓存中的所有文件
Clear WinINET cookies:选项会清空 IE 和其他应用中所发送的 WinINET cookie.Session 的 cookies 还是保持不变
TextWizard…(或 Ctrl + E:对文本进行编码和解码的工具
Compare Session(或 Ctrl + W:选项只有当选中 Web Session 列表中的两个 Session 时才有效。
Reset script:重置脚本
Sandbox:打开 http://webdbg.com/sandbox/
View IE Cache:打开 IE 缓存窗口
Win8 Loopback Exemptions:windows 使用了一种叫做 “AppContainer” 的隔离技术,使得一些流量无法正常捕获,在 fiddler 中点击 Win8 Loopback Exemptions 按钮可以解除这个诅咒,这个与工具栏中的 WinConfig 功能是一致的
New Session Clipboard…:打开一个 Session 的剪贴板
HOSTS…:选项会打开 Fiddler 的 Host Remapping 工具

Show Toolbar:控制 Fiddler 工具栏是否可见,默认是勾选的
Default Layout:默认 layout,session 在左,请求和响应在右边的上下处(界面布局
Stacked Layout:session 在上,请求在下方(界面布局
Wide Layout:session 在上,请求和响应在下方的左右处(界面布局
Tabs:打开标签页面,其中有三个标签可以打开,分别是
Preferences:fiddler 偏好属性
AutoSave:fiddler 自动保存的设置
APITest:api 的测试
Statistics(或 F7:查看一个请求的统计数据
Inspectors(或 F8:嗅探,用来查看会话的内容,上面是请求,下面是响应
Composer(或 F9:设计构造在 Composer 中进行请求的修改,可以把 session 框中的数据先清除,然后点击 Composer 中的 Excute 按钮来发送请求,请求出现在 session 框中
Minimize to Tray(或 Ctrl + M:可以最小化 Fiddler 到系统托盘中
Stay On Top:保持置顶
Squish Session List(或 F6:控制 Web Session 列表是否水平收缩
AutoScroll Session list:自动滚动会话列表,默认是勾选此项的,勾选此项后,session 框中的每出现新的 session,session 框中就会不断向下滚动,若不勾选此项,就很方便具体某一个 session 的定位,即使出现了新的 session 也不会自动向下滚动
Refresh(或 F5:刷新功能

Welcome Screen:回到主页面
Help:进入 fiddler 的帮助的网页中
Get Fiddler Book…:fiddler book 的网页
Discussions:fiddler 的讨论网页,这个需要魔法上网
HTTP References:进入 http 参考文献相关网站
Troubleshoot…:会捕获所有请求,对于哪些被过滤的请求用删除线表示出来并给出原因,使用时候会打开一个网页
Get Priority Support…:购买最新支持
Check for Updates…:检查软件更新情况
Send Feedback…:意见反馈
about:关于当前 fiddler 的相关信息

首先得保证手机和电脑在同一个局域网(连接着同一个 ,先查看  所在电脑得  地址,可以直接把鼠标悬停在工具栏中的  查看()

或者  调出  输入  再输入  查看  地址

设置  允许远程连接,点击  选择 ,再选中 

勾选  允许远程计算机连接到 

注意 后面是  的默认端口 ,一般不做修改

接着就是为手机配置代理,打卡手机的 ,找到 

 选择当前正连接的 ,点击查看  的详细信息。如下图

 

点击  的代理,选择 ,然后设置代理的  和端口。其中 地址为  所在机器的  地址,端口在  中配置的 ,如下图: 

 最后为手机下载安全证书,使用收集浏览器访问  服务,根据上图可知 的端口为 (访问地址为  所属主机的  地址加  端口,例如。访问之后如下图

点击  链接按钮,下载  的根证书。如下图

 

打开浏览器的下载管理器,点击刚刚下载的  证书,安装证书。将该证书命名为 。如下图

证书安装完成后,可以在  中搜索 (或者 ,不同手机会有点差别,打开 ,找到刚刚安装的  证书。 证书信息如下图

 

以上就是开启手机  抓包的全部设置了,可以打开一个  进行验证。

注意一点的是,安卓手机在7.0版本以上就需要root手机,不然代理完网络后进入有的app会没有网络,ios的设备则可以进行。 

 

    以上就是本篇文章【使用Scrapy和Fiddler爬取雪球app基金频道新闻列表数据】的全部内容了,欢迎阅览 ! 文章地址:http://ww.kub2b.com/news/10632.html
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 http://ww.kub2b.com/mobile/ , 查看更多   
最新文章
智能家居“伪智能”、直播间买到的羽绒服穿不了……江苏一季度消费投诉热点出炉
4月9日,江苏省消费者权益保护委员会发布2025年一季度消费投诉及舆情热点报告。一季度全省消保委系统受理投诉51464件,接待消费
智能手机传感器及作用大盘点手机的作用「智能手机传感器及作用大盘点」
已经成为不可思议的小机器,几十年前,这样的设备只存在于科幻小说。如果回到几十年前,人们可能会认为是魔法。现在已经成为最普
您知道唐僧师徒在南通长牌中分别是谁吗?
《西游记》中,猪八戒与孙悟空对峙打斗时,曾经这样说“放生遭贬出天关,福陵山下图家业。我因有罪错投胎,俗名唤做猪刚鬣”,这
【华为】新版模拟器eNSP Lite安装攻略提前解锁华为手机模拟器「【华为】新版模拟器eNSP Lite安装攻略提前解锁」
新版模拟器eNSP Lite资源下载:华为新版模拟器eNSPLite镜像资源资源-CSDN文库    最近华为发布了新版模拟器eNSP Lite
Android监控虚拟键 android手机虚拟摄像头手机IM「Android监控虚拟键 android手机虚拟摄像头」
在工作中,camera这一块上,可能会有各种各样的需求。比如有人想新增一个虚拟摄像头,当用户app打开摄像头设备时,打开的不是系
微信语音怎么提取到电脑【苹果安卓手机】苹果手机备份到电脑「微信语音怎么提取到电脑【苹果安卓手机】」
微信语音中可能保存着一些温馨记忆,如年迈父母发给自己的语音消息,微信语音中也可能保存着知识技能,如培训老师发给自己的各种
修成正果!安东尼已被通知入选2025年奈史密斯篮球名人堂
北京时间4月3日讯 据Shams Charania报道,十次入选NBA全明星的卡梅隆·安东尼已获通知,他被选入2025年奈史密斯篮球名人堂。曾六
在任意手机上使用带有图形化界面(GUI)的完整Linuxlinux手机「在任意手机上使用带有图形化界面(GUI)的完整Linux」
不过,在我们今天的任务中只有运行者两者。这篇教程不会讲述任何运行后的自定义使用。不同于之前的两次尝试——安装Window
腾讯史上最大就业计划技术岗超六成,大厂加码AI人才校招
4月17日,腾讯宣布启动史上最大就业计划,三年内将新增28000个实习岗位并加大转化录用,仅2025年将迎来10000名校招实习生。在大
纪律处罚消息两则:海港主教练穆斯卡特停赛1场罚款1万 & 广东男篮外援莫兰德罚款3万
各CBA俱乐部、赛区:2025年4月8日,2024-2025赛季CBA联赛季后赛12进8阶段场序467,上海久事大鲨鱼俱乐部久事篮球队与广东宏远华