爬取思路
爬取思路：模拟登录、抓取动态、保存数据。
2. Android SDK的安装与配置
打开Android Studio, 选择"Configure->SDK Manager->Apperance&Behavior->System Settings->Android SDK", 选择对应安卓机版本的SDK，如图：
此外，还需要将SDK所在路径添加到系统环境变量中，否则报错。
3. Desired Capabilites 参数
分别是：platfornName, deviceName, appPackage, appActivity。前两个可通过如下命令获取, 前提是连接手机、打开USB调试：
adb devices -l
后两个参数请移步：获取appPackage和appActivity
4. 开启安卓的" 开发者选项、USB调试 "
测试之前，确保打开开发者选项、USB调试。开发者模式确保调试程序在手机安装辅助软件：Unlock, Appium Settings；USB调试主要是利用Appium内置驱动打开APP。此外，要保持屏幕长亮。
5. 节点ID或XPATH值获取
安卓微信节点获取，相对比较容易获取，比如获取"登录"ID值，启动Session后只需点击屏幕左侧安卓屏的登录按钮，中间就会自动定位到所在节点，最右侧还会显示该节点的所有属性。如图：
对于文本输入框，只需要点击最右侧的"send text"即可。
6. "是否匹配通讯录"
这里选择"否", 理由：重新登录进入微信后会自动加载本地数据，耗时较长，如果匹配通讯录好友，增加耗时，可能在TIMEOUT时间内获取不到节点，导致程序终止。我这里选择了"是", 如图：
7. 朋友圈信息获取思路
获取当前显示的朋友圈每条状态对应的区块元素，遍历每个区块元素，再获取内部显示的用户名、正文、发布时间，代码如下：
'''想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！'''# items存储当前页面所有发布的朋友圈信息items = self.wait.until(EC.presence_of_all_elements_located(# 每个ej9节点对应一条朋友圈数据(By.XPATH, '//*[@resource-id="com.tencent.mm:id/ej9"]/android.widget.LinearLayout')))for item in items:try:# 昵称nickname = item.find_element_by_id('com.tencent.mm:id/b5o').get_attribute('text')# 正文content = item.find_element_by_id('com.tencent.mm:id/ejc').get_attribute('text')# 日期date = item.find_element_by_id('com.tencent.mm:id/eec').get_attribute('text')# 处理日期date = self.processor.date(date)data = {'nickname': nickname,'content': content,'date': date,}
8.日期处理
日期处理依旧采用崔大的实现方式，代码如下：
class Processor():def date(self, datetime):"""格式化时间:param date: 原始时间:return: 处理后时间"""if re.match('\d+分钟前', datetime):minute = re.match('(\d+)', datetime).group(1)datetime = time.strftime('%Y-%m-%d', time.localtime(time.time() - float(minute) * 60))if re.match('\d+小时前', datetime):hour = re.match('(\d+)', datetime).group(1)datetime = time.strftime('%Y-%m-%d', time.localtime(time.time() - float(hour) * 60 * 60))if re.match('昨天', datetime):datetime = time.strftime('%Y-%m-%d', time.localtime(time.time() - 24 * 60 * 60))if re.match('\d+天前', datetime):day = re.match('(\d+)', datetime).group(1)datetime = time.strftime('%Y-%m-%d', time.localtime((time.time()) - float(day) * 24 * 60 * 60))return datetime
完整代码
from appium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom mon.by import Byfrom mon.exceptions import NoSuchElementException, TimeoutExceptionfrom time import sleepfrom config import *from pymongo import MongoClientfrom processor import Processor'''想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！'''class Moments(object):def __init__(self):"""初始化"""# 启动APP的参数配置self.desired_caps = {'platformName': PLANTFORM,'deviceName': DEVICE_NAME,'appPackage': APP_PACKAGE,'appActivity': APP_ACTIVITY,}self.driver = webdriver.Remote(DRIVER_SERVER, self.desired_caps)self.wait = WebDriverWait(self.driver, TIMEOUT)self.client = MongoClient(MONGO_URL)self.db = self.client[MONGO_DB]self.collection = self.db[MONGO_COLLECTION]# 处理日期self.processor = Processor()def login(self):"""登录"""# 点击登录login = self.wait.until(EC.element_to_be_clickable((By.ID, 'com.tencent.mm:id/e4g')))login.click()# 输入手机号phone = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/kh')))phone.set_text(USERNAME)# 点击下一步next = self.wait.until(EC.element_to_be_clickable((By.ID, 'com.tencent.mm:id/axt')))next.click()# 输入密码password = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/kh')))password.set_text(PASSWORD)# 提交submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'com.tencent.mm:id/axt')))submit.click()# 通讯录匹配提示(这里选"否",加快tab节点的加载速度)# yes = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/az_')))no = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/az9')))no.click()def enter(self):# 点击"发现"# global explore# explore = self.driver.find_element_by_android_uiautomator('new UiSelector().text("发现")')"""try:explore = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/d7_')))except:self.driver.refresh()explore = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/b7b')))"""explore = self.wait.until(EC.presence_of_element_located((By.XPATH, '//*[@class="android.widget.RelativeLayout"][3]')))# explore = self.wait.until(EC.presence_of_element_located((By.XPATH,'//android.widget.FrameLayout[@content-desc="当前所在页面,与的聊天"]/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.View/android.widget.FrameLayout[1]/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.LinearLayout/android.widget.RelativeLayout[3]')))explore.click()# 朋友圈# momnets = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/y6')))momnets = self.wait.until(EC.presence_of_element_located((By.ID, 'com.tencent.mm:id/d7v')))momnets.click()def crawl(self):"""无限拖动:return:"""cnt = 0while True:# items存储当前页面所有发布的朋友圈信息items = self.wait.until(EC.presence_of_all_elements_located(# 每个ej9节点对应一条朋友圈数据(By.XPATH, '//*[@resource-id="com.tencent.mm:id/ej9"]/android.widget.LinearLayout')))# 上滑刷新朋友圈self.driver.swipe(FLICK_START_X, FLICK_START_Y + FLICK_DISTANCE, FLICK_START_X, FLICK_START_Y)for item in items:try:# 昵称nickname = item.find_element_by_id('com.tencent.mm:id/b5o').get_attribute('text')# 正文content = item.find_element_by_id('com.tencent.mm:id/ejc').get_attribute('text')# 日期date = item.find_element_by_id('com.tencent.mm:id/eec').get_attribute('text')# 处理日期date = self.processor.date(date)data = {'nickname': nickname,'content': content,'date': date,}print("昵称：", data['nickname'])print("正文：", data['content'])print("时间：", data['date'])# 根据昵称和正文来查询信息,然后设置第三个参数为True.实现存在就更新,不存在就插入数据self.collection.update({'nickname': nickname, 'content': content}, {'$set': data}, True)sleep(SCROLL_SLEEP_TIME)except NoSuchElementException:# print('Error')pass# 循环加1cnt = cnt + 1if cnt == 200:breakdef main(self):"""入口:return:"""# 登录self.login()# 进入朋友圈self.enter()# 爬取self.crawl()if __name__ == '__main__':moments_ = Moments()moments_.main()
