Python 制作糗事百科爬虫

后端开发|Python教程

Python 糗事百科 爬虫

后端开发-Python教程

早上起来闲来无事做，莫名其妙的就弹出了糗事百科的段子，转念一想既然你送上门来，那我就写个爬虫到你网站上爬一爬吧，一来当做练练手，二来也算找点乐子。

下载类源码下载,ubuntu关闭按钮右侧,高级python爬虫系统,php修改git,文章标签 seolzw

其实这两天也正在接触数据库的内容，可以将爬取下来的数据保存在数据库中，以待以后的利用。好了，废话不多说了，先来看看程序爬取的数据结果

asp 注册登录系统源码,vscode flow,ubuntu 登录死机,tomcat php,sqlite并发处理,韩国服务器托管,dede日历签到插件,前端几大主流框架,google爬虫ua,vs写php,sEo1ol,友点企业网站,coreldraw做网页,在线聊天静态网页模板html demo,页面形成二维码,通用学校网站管理系统 下载,阿里程序源码出售lzw

资源分享网网站源码,ubuntu16教程,爬虫数据py csv,有php环境如何在手机上运行,视频站seolzw

值得一提的是，我在程序中想一下子爬取糗事百科 30 页的内容，但是出现了连接错误，当我把页数降到 20 页的时候，程序就可以正常的跑起来了，不知道是什么原因，渴望知道的大神可以告诉我一声，感激不尽。

程序非常简单，直接上源代码咯

# coding=utf8import reimport requestsfrom lxml import etreefrom multiprocessing.dummy import Pool as ThreadPoolimport sysreload(sys)sys.setdefaultencoding(utf-8)def getnewpage(url, total): nowpage = int(re.search((\d+), url, re.S).group(1)) urls = [] for i in range(nowpage, total + 1): link = re.sub((\d+), \%s % i, url, re.S) urls.append(link) return urlsdef spider(url): html = requests.get(url) selector = etree.HTML(html.text) author = selector.xpath(//*[@id="content-left"]/p/p[1]/a[2]/@title) content = selector.xpath(//*[@id="content-left"]/p/p[2]/text()) vote = selector.xpath(//*[@id="content-left"]/p/p[3]/span/i/text()) length = len(author) for i in range(0, length): f.writelines(作者 : + author[i] + \ ) f.writelines(内容 ： + str(content[i]).replace(\ ,\) + \ ) f.writelines(支持 ： + vote[i] + \ \n)if __name__ == \__main__: f = open(info.txt, a) url = /text/page/1/ urls = getnewpage(url, 20) pool = ThreadPool(4) pool.map(spider,urls) f.close()

如果其中有不懂得部分，可以依次参考我的前三篇文章。

更多Python 制作糗事百科爬虫相关文章请关注PHP中文网！