专业做网站 台州玉环,怎样做网站手机客户端,注册logo商标设计要求,网站无法链接前言
最近收到粉丝的私信#xff0c;其在逆向某个站点时遇到了些问题#xff0c;在查阅资料未果后#xff0c;来询问K哥#xff0c;K哥一向会尽力满足粉丝的需求。网上大多数分析该站点的教程已经不再适用#xff0c;本文K哥将提供 3 种解决方案#xff0c;对于 webpack…
前言
最近收到粉丝的私信其在逆向某个站点时遇到了些问题在查阅资料未果后来询问K哥K哥一向会尽力满足粉丝的需求。网上大多数分析该站点的教程已经不再适用本文K哥将提供 3 种解决方案对于 webpack 不太熟练的小伙伴来说这是一个很好的练手案例 逆向目标
目标某点数据排行榜地址aHR0cHM6Ly9hcHAuZGlhbmRpYW4uY29tL3JhbmsvaW9zLw
逆向过程
抓包分析
打开开发者人员工具随便打开一个区域排行榜在 Network 中即会抓包到相应的排行榜数据接口即
/pc/app/v1/rank 响应内容如下 请求参数如下其中主要参数为 K 参数需要通过算法生成其他参数 timecountry_id 等是时间戳以及一些固定的 id 值k 值每次都会发生变化需要进行分析研究 本文将会用多种方法实现数据的采集适合不同的技术群体。
协议采集
逆向分析
该接口是通过 XHR 进行请求的我们直接下一个 XHR 断点 api.diandian.com/pc/app/v1/rank刷新排行榜成功断了下来 并没有发现任何 k 值所以我们找网络拦截器通过堆栈找到 m.request 的地方在此处下一个断点断下来以后查看 m 变量里面存储了很多回调方法 通过查看 m 方法我们在 onRequest 方法上下一个断点同时在方法末尾也下断点同时将上图的断点进行方向再次查看排行榜发现在 onRequest 上成功断了下来。同时我们发现在调用 t 函数之前并没有 k 参数的生成 我们继续执行在方法结束末尾断点断了下来发现右侧已经有 k 参数的生成。所以由此判断k 参数是通过 t 函数生成的 我们进入 t 函数在函数的开头和结尾分别下一个断点发现通过 M 函数以后生成了 k 值 继续跟进 M 函数我们查看 k 值是如何生成的 通过分析得到 k 值的生成逻辑为
var r h()(t.params, !1), o Object(y.a)(r, path, {s: n.s,k: n.k,l: n.l,d: n.d,sort: n.sort,num: n.num
}, get);
t.params.k o所以他是通过 y.a 传入 r、path 以及大数组生成的我们可以通过将 y.a 函数扣出来实现 k 参数的生成。
第一种思路我们可以看看 y 函数是如何被定义可以看到它是 webpack 打包调用 2294 模块来实现的 第二种思路我们进入 y.a 函数进行算法的还原其生成逻辑如下 发现是通过 Object(l.b) 函数加密成字节集然后通过 t.from 方法编码成 base64 进行展示所以我们只需将这两部分进行算法还原即可复现 k 参数的生成当然本文将会用不同的方法进行分析。
手动 webpack 补环境
在 yn(2294) 下断点刷新排行榜在该行成功断下来 进入分发器 n 中将 runtime.js 全部拿下放到我们本地 拿到本地以后将分发器导出window.kkr。 控制台通过 n.m[模块名] 将所需的模块进行查找 拿到对应模块后将 js 里的模块复制放到我们刚刚扣的分发器中 通过模块调用加密函数查看报错信息
a window.kk(2294)
r {start_time: 1717776000,end_time: 1718345618
}
n {proxy: /app,target: ,sort: dd,num: 10,s: d044bec62c1c9f9eee1ebd567e501719,k: 93086c0e7c41cf46,l: 091043cf5d1393af,d: 0
}
path /v2/user/monitor/msg
o Object(a.a)(r, path, {s: n.s,k: n.k,l: n.l,d: n.d,sort: n.sort,num: n.num
}, get);
console.log(o)这种错误就是提示缺少对应模块我们只需根据调用堆栈向上查看补上缺失的模块即可 然后在控制台用 n.m[模块名] 进行模块查找然后重复上述操作将找到的模块放入分发器即可它这个站模块分布在几百个 js 中也算是一种代码混淆了 最后板凳坐穿全部模块找完大概 6w 多行代码吧结果如下 自动扣 webpack 模块
网上自动扣 webpack 的方法很多但是对于几百个 js 文件的模块来说可能就不太适用上部分手动通过 n.m[模块名] 进行模块查找的方法是最通用的但是对于多个 js 文件模块就略显繁琐。所以我们可以通过重写分发器的方法将加载的模块自动保存然后导出。
首先方法同上先找到分发器的位置在 r.e 及它之前下个断点 刷新页面发现在 r.e 的地方成功断住我们将以下 js 代码在控制台进行注入
window.code ;
r function (e) {if (r[e])return r[e].exports;var d r[e] {i: e,l: !1,exports: {}};console.log(e)window.code e : o[e] ,\r\nreturn o[e].call(d.exports, d, d.exports, r),d.l !0,d.exports
}然后回车刷新浏览器进行一遍查看排行榜的操作发现控制台就会自动打印加载的模块 控制台输入 copy(window.code) 将模块导出然后同上述方法一样放到分发器中即可再挂上代理将常规的 document、navigator 补一下即可调用。最后结果如下 算法还原
分析完 webpack 与补环境以后我们最后来讲讲如何用算法生成。上文提到我们进入 y.a 函数后发现他主要是通过 Object(l.b) 和 t.from 这两个函数生成的进入 Object(l.b) 发现是一个 AES 方法 其中又发现了这个 t.from 方法这个方法其实就是一个 utf8 编码复现如下
t[]
t.fromfunction (hexString, encoding) {if (encoding ! utf8) {throw new Error(Unsupported encoding);}// 将每个字符转换为对应的 UTF-8 编码的数值let byteArray new Uint8Array(hexString.split().map(char char.charCodeAt(0)));return byteArray;
}剩余的加密方法我们引库复现即可
const crypto require(crypto);
var c crypto.createDecipheriv(aes-128-cbc, n, o);
return d c.update(e, hex, utf8),d c.final(utf8)同时将 c 与 _ 这俩个函数也补一下补函数的话遵循和原函数一致即可如果读不懂原函数可能就会卡在某一部分
function c(a) {return function(t) {return t;};
}
var n c()(t); function _(n) {return typeof n object n ! null;
}最后全部函数实现完毕以后结果如下 只需 70 行即可完成 k 参数的生成至此全部流程分析完毕。
八爪鱼采集
对于新手来说0 代码实现数据采集是不二选择同时他还可以设置代理 IP 进行免封操作。使用教程也非常简单进入官网选择对应的系统版本进行下载安装 安装完成以后打开软件首先看到的是他拥有一个模板采集里面内置了很多已经配置好的采集任务点击即可一键应用 我们点击“模板”或者“更多”搜索点点数据发现搜索未果 那我们只能手动去新建一个任务选择左侧新建然后输入你要采集的网址 进去以后等待网页加载完毕然后选择自动识别它会根据页面的布局自动生成几套采集模板 同时你也点击切换识别结果来自由切换识别模板 很多时候识别的结果不尽如意你可以选择删除某些多余的字段同时也可以点击页面元素进行文本提取或者鼠标点击等操作 在所有需要采集的东西都配置完毕以后我们可以点击设置进行代理的设置 这里代理选择我们采用快代理的私密代理或者独享代理进行配置即可 所有任务都准备完成以后即可保存进行任务的采集 关于八爪鱼进阶的玩法还有自动打码与点击翻页等特殊场景需要进行更多的实际应用。
