[python3]糗事百科爬虫

最近开始学习爬虫和机器学习，网上好多资料都是python2的，学习爬虫可见汪海大哥的专题【python爬虫入门教程】

这里将第八讲【糗事百科的网络爬虫（v0.3）源码及解析(简化更新) 】中的源码修正一下，主要改动点有以下几个：

1.将python2转为python3

2.将糗事百科的页面url做了更新

3.将糗事百科页面标签解析的正则表达式做了更新以适应改版后的页面

源码如下：

# -*- coding: utf-8 -*- import urllib.requestimport re import _thread import time #----------- 加载处理糗事百科 ----------- class Spider_Model: def __init__(self): self.page = 1 self.pages = [] self.enable = False # 将所有的段子都扣出来，添加到列表中并且返回列表 def GetPage(self,page): myUrl = " /8hr/page/" + page#myUrl =" /8hr/page/2"user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } req = urllib.request.Request(myUrl, headers = headers) myResponse = urllib.request.urlopen(req)myPage = myResponse.read() #encode的作用是将unicode编码转换成其他编码的字符串 #decode的作用是将其他编码的字符串转换成unicode编码 unicodePage = myPage.decode("utf-8")# print(unicodePage)# 找出所有class="content"的div标记 #re.S是任意匹配模式，也就是.可以匹配换行符 myItems = re.findall('<div.*?class="content".*?>\n*<span>(.*?)</span>\n*</div>',unicodePage,re.S) items = [] for item in myItems: # item 中第一个是div的标题，也就是时间 # item 中第二个是div的内容，也就是内容 items.append(item.replace("\n","")) return items # 用于加载新的段子 def LoadPage(self): # 如果用户未输入quit则一直运行 while self.enable: # 如果pages数组中的内容小于2个 if len(self.pages) < 2: try: # 获取新的页面中的段子们 myPage = self.GetPage(str(self.page)) self.page += 1 self.pages.append(myPage) except: print ('无法链接糗事百科！' ) else: time.sleep(1) def ShowPage(self,nowPage,page): for items in nowPage: print (u'第%d页' % page , items)myInput = input() if myInput == "quit": self.enable = False break def Start(self): self.enable = True page = self.page print(page)print (u'正在加载中请稍候......') # 新建一个线程在后台加载段子并存储 _thread.start_new_thread(self.LoadPage,()) #----------- 加载处理糗事百科 ----------- while self.enable: # 如果self的page数组中存有元素 if self.pages: nowPage = self.pages[0] del self.pages[0] self.ShowPage(nowPage,page) page += 1 #----------- 程序的入口处 ----------- print (u""" --------------------------------------- 程序：糗百爬虫 版本：0.4作者：why 修正：cferz日期：-09-13 语言：Python 3.5.2 操作：输入quit退出阅读糗事百科 功能：按下回车依次浏览今日的糗百热点 --------------------------------------- """)print( u'请按下回车浏览今日的糗百内容：' )input(' ') myModel = Spider_Model() myModel.Start()

效果如下：

--------------------------------------- 程序：糗百爬虫 版本：0.4作者：why 修正：cferz日期：-09-13 语言：Python 3.5.2操作：输入quit退出阅读糗事百科 功能：按下回车依次浏览今日的糗百热点 --------------------------------------- 请按下回车浏览今日的糗百内容：1正在加载中请稍候......第1页 小时候我弟弟刚出生那会特不能接受（一直想要妹妹来的），刚好同房间的那位生了个女孩。我能说我几个晚上不睡觉都要起来就为了把两个宝宝换换吗，我想要不是我爹下手重我也许就成功了。第1页 和基友去澡堂，我们俩的柜子挨着，发现忘记带香皂，一瞅看见他的柜子没锁，袋子里露出半块白色香皂，心想肯定是他忘带进去了，顺手拿了进去，走到他旁边开了喷头就是一阵狂搓，搓着搓着发现这香皂怎么一点味没有呢，诶，还一点沫没有，正想问他，谁知基友大喊：“卧槽你拿我移动电源搓你马勒戈壁啊！”第1页 上学上久了都有后遗症了。本人现在工作狗一枚 有次逛超市 迎面碰到了高中的教导主任 可把我吓坏了 一阵躲呀 后来才后知后觉到我已经毕业好几年了。。。。。第1页 上中学的时候打雪仗，我班男生特别坏，总是抓着女生的衣服领子，把雪团扔进去。<br/>长大后，每次同学聚会，这帮男生都会提及此事，而每次说起都非常后悔懊恼，总是说:“都怪当年太年轻不懂事，光顾着扔雪，却不知道伸爪。”第1页 出门在外总会遇到不懂的事！有一次，出差住宿酒店，我对服务员说:“晚餐时请送一只鸭子到我房间里来”她说:“没问题，我们这的鸭子味道是一流的！”于是，我就在房间里垂涎三尺的静候那只鸭子。结果她竟然给我送来了一个帅哥！……第1页 老公同事老婆都过三十了，教师一枚，两人成亲九年之久，一直分居两地，木有小孩，结果她领导看不下去了，说你去你老公那儿怀孕去，没怀上不要回来，好有爱的领导啊，，，，，