Scrapy使用笔记
架构图 Selector (HTML)选择器 选择器构建 scrapy selector 是一个用于从 HTML 或 XML 文档中提取数据的类,它支持 XPath 和 CSS 选择器语法 通过 response或text传入html文档
前端逆向中 AES,DES 使用 Crypto-js 模块加密时,如果快速找到 key 和 iv 值
参考: https://cryptojs.gitbook.io/docs 1. 简介 在前端页面中,涉及 AES,DES 加密解密时,一般使用的前端模块是Crypto-js,那么了解Crypto-js的加密解密过程,和操作对象,有利于减少前端页面的跟栈工作,可以从加密,解密的中间对象中,快速还原KE
关于微博的内容爬取
1. 接口鉴权 微博的内容大部分接口是需要鉴权的,主要是针对cookies中的SUBP 但是移动端的接口可以匿名访问,不做鉴权限制,但是数据返回的可能不全,但在不要求数据精度的情况下,不失为一个好的选择; 以下分享几个接口 2. 免鉴权的接口
爬取苹果应用商店,APP 评论
1. 爬取目标 数据源:苹果商店对应 APP 的评论区 目标内容:对应 APP 的评论信息 2. 思路 苹果商店各平台看接口调用,找到: 应用检索接口 评论获取接口 撰写爬虫,清洗数据 保存数据 3. 具体实现