侵权投诉

                  如何利用Python抓取用户发的话题

                  马哥Linux运维 ? 2021-09-05 09:37 ? 次阅读

                  大多数APP里面返回的是json格式数据,或者一堆加密过的数据 。这里以超级课程表APP为例,抓取超级课程表里用户发的话题。

                  1、抓取APP数据包

                  表单:

                  表单中包括了用户名和密码,当然都是加密过了的,还有一个设备信息,直接post过去就是。

                  另外必须加header,一开始我没有加header得到的是登录错误,所以要带上header信息。

                  2、登录

                  登录代码:

                  import urllib2from cookielib import CookieJarloginUrl = ‘http://120.55.151.61/V2/StudentSkip/loginCheckV4.action’headers = {‘Content-Type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,

                  ‘User-Agent’: ‘Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)’,‘Host’: ‘120.55.151.61’,‘Connection’: ‘Keep-Alive’,‘Accept-Encoding’: ‘gzip’,‘Content-Length’: ‘207’,}loginData =

                  ‘phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’cookieJar = CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))req = urllib2.Request(loginUrl, loginData, headers)loginResult = opener.open(req).read()print loginResult

                  登录成功 会返回一串账号信息的json数据

                  和抓包时返回数据一样,证明登录成功

                  3、抓取数据

                  用同样方法得到话题的url和post参数

                  下见最终代码,有主页获取和下拉加载更新。可以无限加载话题内容。

                  #!/usr/local/bin/python2.7# -*- coding: utf8 -*-“”“超级课程表话题抓取”“”import urllib2from cookielib import CookieJarimport json‘’‘ 读Json数据 ’‘’def fetch_data(json_data):

                  data = json_data[‘data’]timestampLong = data[‘timestampLong’]messageBO = data[‘messageBOs’]topicList = []for each in messageBO:topicDict = {}if each.get(‘content’, False):

                  topicDict[‘content’] = each[‘content’]topicDict[‘schoolName’] = each[‘schoolName’]topicDict[‘messageId’] = each[‘messageId’]topicDict[‘gender’] = each[‘studentBO’][‘gender’]topicDict[‘time’] = each[‘issueTime’]print each[‘schoolName’],

                  each[‘content’]topicList.append(topicDict)return timestampLong, topicList‘’‘ 加载更多 ’‘’

                  def load(timestamp, headers, url):headers[‘Content-Length’] = ‘159’loadData = ‘timestamp=%s&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’ % timestampreq = urllib2.Request(url, loadData, headers)loadResult = opener.open(req)

                  .read()loginStatus = json.loads(loadResult).get(‘status’, False)if loginStatus == 1:print ‘load successful!’timestamp, topicList = fetch_data(json.loads(loadResult))load(timestamp, headers, url)else:print ‘load fail’print loadResultreturn FalseloginUrl =

                  ‘http://120.55.151.61/V2/StudentSkip/loginCheckV4.action’topicUrl =

                  ‘http://120.55.151.61/V2/Treehole/Message/getMessageByTopicIdV3.action’headers = {‘Content-Type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,‘User-Agent’: ‘Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)’,‘Host’: ‘120.55.151.61’,‘Connection’: ‘Keep-Alive’,‘Accept-Encoding’: ‘gzip’,‘Content-Length’: ‘207’,}

                  ‘’‘ ---登录部分--- ’‘’loginData = ‘phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’cookieJar = CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))req = urllib2.Request(loginUrl, loginData, headers)loginResult = opener.open(req).read()loginStatus = json.loads(loginResult).get(‘data’, False)if loginResult:print ‘login successful!’else:print ‘login fail’print loginResult‘’‘ ---获取话题--- ’‘’topicData =

                  ‘timestamp=0&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’headers[‘Content-Length’] = ‘147’topicRequest = urllib2.Request(topicUrl, topicData, headers)topicHtml = opener.open(topicRequest).read()topicJson = json.loads(topicHtml)topicStatus = topicJson.get(‘status’, False)print topicJsonif topicStatus == 1:print ‘fetch topic success!’timestamp, topicList = fetch_data(topicJson)load(timestamp, headers, topicUrl)

                  结果:

                  562957e4-0dd5-11ec-8fb8-12bb97331649.jpg

                  责任编辑:haq

                  原文标题:利用Python爬虫抓取手机APP的传输数据

                  文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

                  收藏 人收藏
                  分享:

                  评论

                  相关推荐

                  python实现CH340串口通信(超详细)

                  代码实现CH340串口通信 UARTUART全称为Universal Asynchronous Re....
                  发表于 11-26 20:51 ? 2次 阅读
                  python实现CH340串口通信(超详细)

                  完整 Python 鸿蒙设备开发课件

                  唐佐林直播资料,需要的小伙伴自行下载哦,内容包括:完 整P y t h o n 框架简介、P Y 4 O H -、R E P L 用法简介、定制...
                  发表于 11-26 18:58 ? 74次 阅读
                  完整 Python 鸿蒙设备开发课件

                  单片机内部是什么类型的Flash?

                  作者 |strongerHuang微信公众号 | 嵌入式专栏Flash在我们生活中无处不在,比如:U....
                  发表于 11-26 18:21 ? 2次 阅读
                  单片机内部是什么类型的Flash?

                  Maix Bit K210点灯【保姆级教程】

                  上一篇K210有8个GPIO(通用IO)、32个高速GPIOHS(高速IO)。无论是GPIO还是GP....
                  发表于 11-26 16:21 ? 0次 阅读
                  Maix Bit K210点灯【保姆级教程】

                  设计电动汽车和自动驾驶应用的四个考虑事项

                  电动汽车和自动驾驶功能的发展,迅速推动汽车行业追求技术变革,带来了汽车制造方式的范式转变。 Mole....
                  的头像 Molex莫仕连接器 发表于 11-26 16:02 ? 205次 阅读

                  为何说SPC-1是存储界“奥林匹克”

                  (作者 :浪潮信息首席架构师 叶毓睿)全球存储性能委员会(SPC)是由世界级存储供应商联合组成的一个....
                  的头像 浪潮存储 发表于 11-26 14:56 ? 124次 阅读
                  为何说SPC-1是存储界“奥林匹克”

                  护航数字经济 浪潮高端增速中国领先

                  大型银行保管着储户的钱袋、医疗数据关系病患的生死、电网数据影响千行百业的正常运转。在银行、运营商、医....
                  的头像 浪潮存储 发表于 11-26 14:48 ? 121次 阅读

                  基于G6新存储打造数字之城

                  11月2日,IDTC2021浪潮存储数据科技峰会暨G6新品全国巡展在南京顺利举行。浪潮信息存储产品线....
                  的头像 浪潮存储 发表于 11-26 14:36 ? 172次 阅读

                  STM32系统bootloader应用

                  嵌入式开发中,经常需要bootloader进行程序固件升级和系统维护,所以bootloader是必不....
                  发表于 11-26 13:36 ? 3次 阅读
                  STM32系统bootloader应用

                  IoT嵌入式软件--程序结构

                  “从毕业到工作的这10年的时间,自己使用的单片机架构也在升级,从最初的前后台顺序执行到时间片轮转调度....
                  发表于 11-26 13:06 ? 11次 阅读
                  IoT嵌入式软件--程序结构

                  【MSP430时钟】MSP430?5438时钟系统介绍

                  3.1时钟系统介绍 UCS模块支持低功耗。它内部含有三个时钟信号,用户可以自行选择,找到性能和功耗的....
                  发表于 11-26 13:06 ? 2次 阅读
                  【MSP430时钟】MSP430?5438时钟系统介绍

                  简述Golang熔断器的实现及使用

                  Go 项目中使用熔断技术提高系统容错性。本文介绍了 go 熔断器和其使用。 ? 熔断器像是一个保险丝....
                  的头像 马哥Linux运维 发表于 11-26 10:08 ? 117次 阅读
                  简述Golang熔断器的实现及使用

                  8位单片机定义一个 int型变量,占几个字节

                  关注+星标公众号,不错过精彩内容作者 | strongerHuang微信公众号|嵌入式专栏首先问大家两个问题:8位单片机定义一个 int型变量...
                  发表于 11-26 07:04 ? 0次 阅读

                  用STM32F401和nRF24L01制作无线调速小车

                  硬件配置在做这个小项目前, 考察过STM32F103C8T6, STM32F401CCU6和STC8....
                  发表于 11-25 20:51 ? 3次 阅读
                  用STM32F401和nRF24L01制作无线调速小车

                  MCU与B/S、C/S架构之间的数据传输关系

                  设计主要流程:一、MCU通过串口发送数据到WIFI模块(esp8266)上二、启动WIFI模块,设置....
                  发表于 11-25 19:06 ? 2次 阅读
                  MCU与B/S、C/S架构之间的数据传输关系

                  利用STC89C52控制ROS中的海龟

                  实现过程:1、单片机程序编序(C语言)STC89C52单片机 晶振频率11.0592MHz2、ubu....
                  发表于 11-25 16:51 ? 2次 阅读
                  利用STC89C52控制ROS中的海龟

                  LabVIEW与Python学习日记09

                  在这篇日记里我会分享一下在LabVIEW和Python中如何使用多分支条件结构来进行数据范围的判断,并输出判断结果,大家可以结合...
                  发表于 11-25 15:24 ? 202次 阅读

                  在 microPython 上搭建 HTTP WEB 服务器 esp8266 esp32

                  在microPython上搭建一个简单的HTTP WEB服务器microPython给会使用Pyth....
                  发表于 11-25 14:06 ? 5次 阅读
                  在 microPython 上搭建 HTTP WEB 服务器 esp8266 esp32

                  腾讯回应旗下APP将暂停更新传闻

                  近日,有媒体报道消息称腾讯科技公司旗下所有即将上架的新款APP将暂停版本更新,对此腾讯公司做出相关回....
                  的头像 lhl545545 发表于 11-25 09:25 ? 562次 阅读

                  工信部对腾讯采取过渡性行政指导

                  近日,腾讯公司因违反了信息通信业行风纠风相关要求,工信部已经对腾讯采取过渡性行政指导,并且查出旗下9....
                  的头像 lhl545545 发表于 11-25 09:11 ? 235次 阅读

                  快讯:借呗整改后花呗也将启动品牌隔离 B站会员提前3天自动续费

                  今日早些时候,支付宝旗下花呗公开表示称为了落实消费信贷和监管的相关要求,目前花呗已启动品牌隔离工作,....
                  的头像 lhl545545 发表于 11-24 17:43 ? 585次 阅读

                  创略科技获7100万元B轮融资,饿了么、沃尔玛均是客户

                  11月16日创络(上海)数据科技有限公司(简称“创略科技”)正式宣布已完成7100万元B轮融资,本轮....
                  发表于 11-24 15:02 ? 9次 阅读
                  创略科技获7100万元B轮融资,饿了么、沃尔玛均是客户

                  EVB_Air724UG_A13开发板使用指南

                  ??Air724 是上海合宙物联网于2020年3月下旬发布的一款基于UIS8910DM芯片组的物联网....
                  发表于 11-24 14:51 ? 9次 阅读
                  EVB_Air724UG_A13开发板使用指南

                  单片机与单片机,怎样“交谈”?

                  几种常用单片机之间的通信方式①采用硬件 UART 进行异步串行通信。这是一种占用口线少,有效、可靠的....
                  发表于 11-24 13:06 ? 5次 阅读
                  单片机与单片机,怎样“交谈”?

                  SKR丨基于蓝牙模块HC06的单片机通信控制(自制蓝牙串口通信APP)

                  前言通过HC06蓝牙模块串口通信达到对单片机的控制目的。需要掌握:串口通信;蓝牙模块初始化;蓝牙协议....
                  发表于 11-24 10:36 ? 14次 阅读
                  SKR丨基于蓝牙模块HC06的单片机通信控制(自制蓝牙串口通信APP)

                  mega2560单片机开发的相关资料分享

                  mega2560单片机开发 通过介绍世界上最受欢迎的编程语言之一掌握Java编程概念  嘿,怪胎,  本周,在我们的...
                  发表于 11-24 06:11 ? 0次 阅读

                  LabVIEW与Python学习日记08

                  日记8主要讲述了LabVIEW中的数组和Python中的Ndarray如何进行数据交互的 ...
                  发表于 11-23 22:35 ? 95次 阅读

                  Go 语言在极小硬件上的运用(三) | Linux 中国

                  导读:让我们做些更有趣的事情……让我们点亮更多的 LED!                     ....
                  发表于 11-23 18:21 ? 4次 阅读
                  Go 语言在极小硬件上的运用(三) | Linux 中国

                  自制STC单片机下载电路,再也不用人工干预了

                  关注+星标公众号,不错过精彩内容来源 |TsinghuaJokingSTC单片机的程序下载使用ISP....
                  发表于 11-23 18:07 ? 19次 阅读
                  自制STC单片机下载电路,再也不用人工干预了

                  STM32中按键中断分析

                  在按键学习中,我们有用到查询的方法来判断按键事件是否发生,这种查询按键事件适用于程序工作量较少的情况....
                  发表于 11-23 18:06 ? 4次 阅读
                  STM32中按键中断分析

                  【编程之美】详论单片机固件模块化架构设计

                  关注、星标嵌入式客栈,干货及时送达ID:嵌入式客栈作者:逸君[导读] 为什么写本文?最近遇到一些初学....
                  发表于 11-23 17:51 ? 4次 阅读
                  【编程之美】详论单片机固件模块化架构设计

                  单片机c语言+编程c语言_C和C ++编程语言有什么区别?

                  单片机c语言+编程c语言C & C++ are computer programming langu....
                  发表于 11-23 17:51 ? 5次 阅读
                  单片机c语言+编程c语言_C和C ++编程语言有什么区别?

                  使用OPENMV控制云台自动追踪Apriltag,测出与Apriltag距离并且通过串口发送给单片机。

                  使用openmv控制云台自动跟踪Apriltag,并且将openmv与Apriltag距离通过串口发....
                  发表于 11-23 17:51 ? 6次 阅读
                  使用OPENMV控制云台自动追踪Apriltag,测出与Apriltag距离并且通过串口发送给单片机。

                  移植IIC 0.96OLED(SSD1306)驱动到MicropPython(esp32)

                  概述因为esp32 micropython中没有SSD_1306驱动代码遂决定移植arduino平台....
                  发表于 11-23 17:51 ? 4次 阅读
                  移植IIC 0.96OLED(SSD1306)驱动到MicropPython(esp32)

                  51单片机学习笔记(郭天祥版)(9)——IIC、EEPROM

                  IIC是两根线,单总线,只有一根数据线,发送数据和读取收据都是一根线,像我们之前学的AD、DA都是许....
                  发表于 11-23 17:51 ? 16次 阅读
                  51单片机学习笔记(郭天祥版)(9)——IIC、EEPROM

                  状态机——单片机的万能语言(附代码)

                  Python实战社群Java实战社群长按识别下方二维码,按需求添加扫码关注添加客服进Python社群....
                  发表于 11-23 17:36 ? 6次 阅读
                  状态机——单片机的万能语言(附代码)

                  状态机——单片机的万能语言(附代码)

                  毫无疑问,单片机的万能语言就是状态机,在嵌入式单片机编程中,也是我们常用的方法。在此之前,我曾分享过....
                  发表于 11-23 17:36 ? 4次 阅读
                  状态机——单片机的万能语言(附代码)

                  状态机——单片机的万能语言(附代码)

                  关注、星标公众号,直达精彩内容ID:技术让梦想更伟大作者:李肖遥毫无疑问,单片机的万能语言就是状态机....
                  发表于 11-23 17:36 ? 6次 阅读
                  状态机——单片机的万能语言(附代码)

                  单片机通信数据校验

                  最近在调试Modbus通信时需要计算CRC校验,找了好久没有一个找到一个好用的数据校验计算软件,无意....
                  发表于 11-23 17:36 ? 2次 阅读
                  单片机通信数据校验

                  单片机stc89c52 lcd1602 9999秒倒计时 可按键控制

                  原料说明keli4和KR-51单片机开发板和stc烧录工具不多说,直接上代码。#include "r....
                  发表于 11-23 17:06 ? 4次 阅读
                  单片机stc89c52 lcd1602 9999秒倒计时 可按键控制

                  52单片机制作打卡考勤+测温一体系统(含后端管理平台)

                  52单片机制作打卡考勤+测温一体系统(含后端管理平台)技术要求python+flask+tcp基础(....
                  发表于 11-23 17:06 ? 6次 阅读
                  52单片机制作打卡考勤+测温一体系统(含后端管理平台)

                  实现微信小程序和手机app远程控制51单片机控制L298N电机驱动器控制马达(ESP8266 AT89S52 http请求转串口通信系统 mqtt )

                  首先你有这样的8266这种8266自身带2个按键和烧录芯片方便调试,综合性价比较高。还有就是你需要有....
                  发表于 11-23 16:51 ? 4次 阅读
                  实现微信小程序和手机app远程控制51单片机控制L298N电机驱动器控制马达(ESP8266 AT89S52 http请求转串口通信系统 mqtt )

                  手把手教你学51单片机

                  培养和锻炼单片机系统实用开发技能,视频以实践为主线,在一个个实践案例中逐步掌握单片机电路设计与程序代....
                  发表于 11-23 16:36 ? 6次 阅读
                  手把手教你学51单片机

                  浪潮信息ISPIM平台基于AI算法,整个数据中心细粒度管理

                  随着数字化进程的加快,各企业、组织对大规模计算服务集群的需求与日俱增,运维难度也随之加大。浪潮作为全球领先的算
                  的头像 鹰眼 发表于 11-23 10:01 ? 152次 阅读
                  浪潮信息ISPIM平台基于AI算法,整个数据中心细粒度管理

                  AVR架构下的汇编语言常用指令集

                  下面是AVR架构下的汇编语言常用指令集,英语原版看起来会更容易理解,如下所示:上面是常用的指令,全部指令集的使用方法可以...
                  发表于 11-23 09:10 ? 0次 阅读

                  avr单片机教程

                  avr单片机教程 csdnIf you are into the Atmel microcontroller camp, chances are if you are adding some degree of automat...
                  发表于 11-23 07:53 ? 0次 阅读

                  什么是单片机解密

                  第一时间送达什么是单片机解密?单片机(MCU)一般都有内部程序区和数据区(或者其一)供用户存放程序和工作数据(或者其一)...
                  发表于 11-23 07:51 ? 0次 阅读

                  ATmega16PD接跑马灯

                  AVR单片机期末自选2      4x4薄膜开关控制led灯具体内容:AVR单片机  ATmega16PD接跑马...
                  发表于 11-23 07:27 ? 0次 阅读

                  avr flash_AVR相关资料分享

                  avr flashIn simple words, Masking is a process in which we hide the information that is not required. 简而言之,“ 掩蔽...
                  发表于 11-23 07:14 ? 0次 阅读

                  小米申请“小米移动”商标 正式注册成立第二家汽车公司

                  小米公司近日正式申请了一项关于小米移动的商标,目前的商标状态为申请中。根据小编的了解发现,小米申请的....
                  的头像 lhl545545 发表于 11-22 16:44 ? 941次 阅读

                  今年进博会又有哪些黑科技?

                  智慧城市 后疫情时代,遭受经济重创的各国亟待重振,纷纷开启“买全球”模式。这不,全球独一份——中国进....
                  的头像 大联大 发表于 11-22 14:51 ? 328次 阅读

                  STM32的HAL库分析及使用

                  STM32的三种开发方式通常新手在入门STM32的时候,首先都要先选择一种要用的开发方式,不同的开发....
                  发表于 11-22 11:21 ? 8次 阅读
                  STM32的HAL库分析及使用

                  既要代码小,又要速度快!单片机程序该如何优化?

                  对程序进行优化,通常是指优化程序代码或程序执行速度。优化代码和优化速度实际上是一个予盾的统一。一般是....
                  发表于 11-22 11:21 ? 2次 阅读
                  既要代码小,又要速度快!单片机程序该如何优化?

                  曙光亮相中国CAE工程分析技术年会

                  11月11日-14日,第 17届中国CAE工程分析技术年会暨第3届中国数字仿真论坛大会在海口召开。大....
                  的头像 中科曙光 发表于 11-22 11:19 ? 261次 阅读

                  功能更加强大的GUI神器

                  关于pandas的GUI工具,我之前介绍过pandasgui。可以说,有了GUI可视化界面,操作就和....
                  的头像 数据分析与开发 发表于 11-22 10:21 ? 145次 阅读

                  软件项目管理:软件工具与开发环境相关知识介绍

                  1、软件工具相关名词概念软件工具:用来辅助软件开发、运行、维护、管理等过程中的活动软件。软件开发环境....
                  发表于 11-22 09:51 ? 6次 阅读
                  软件项目管理:软件工具与开发环境相关知识介绍

                  《痞子衡嵌入式半月刊》 第 41 期

                  痞子衡嵌入式半月刊: 第 41 期这里分享嵌入式领域有用有趣的项目/工具以及一些热点新闻,农历年分二....
                  发表于 11-22 09:51 ? 4次 阅读
                  《痞子衡嵌入式半月刊》 第 41 期

                  如何用代码破解wifi密码

                  ? ? 昨晚,家里停网了……对于码农而言,停网了,这能忍? ? 于是,我打电话给修网络的,但对方说太....
                  的头像 嵌入式ARM 发表于 11-22 09:45 ? 250次 阅读

                  如何用Python制作一个自动发送程序

                  事情是这样的: 昨天晚上,女朋友让我十二点催她睡觉。 ? 不过,可是我实在太困了,熬不下去…… 是吧....
                  的头像 马哥Linux运维 发表于 11-22 09:28 ? 159次 阅读
                  欧美美女的白虎