200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > Python天气预报采集器实现代码(网页爬虫)

Python天气预报采集器实现代码(网页爬虫)

时间:2018-08-07 14:01:15

相关推荐

Python天气预报采集器实现代码(网页爬虫)

后端开发|Python教程

Python,天气预报,采集器

后端开发-Python教程

爬虫简单说来包括两个步骤:获得网页文本、过滤得到数据。

1、获得html文本。

python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。

小猪电商 源码下载,vscode的图标怎么设置,ubuntu禁用cuda,tomcat可用的端口,车上的爬虫,php超大文件上传,性价比高的短视频seo,国外DJ网站源码,wp网站模板lzw

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

page.close()

return html

91源码,老鼠图标的Ubuntu,饿了吗app爬虫,srand php,哈尔滨seo大牛lzw

这么几行代码相信不用注释都能大概知道它的意思。

全国美术网源码,ubuntu 内核网站,tomcat聊天室教程,重点产业爬虫,flag.php $a,淘宝seo百度seolzw

2、根据正则表达式等获得需要的内容。

使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。

python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法:

def getWeather(html):

reg = ‘(.*?).*?(.*?).*?(.*?)‘

weatherList = pile(reg).findall(html)

return weatherList

其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。

这里的正则表达式reg有两个地方要注意。

一个是“(.*?)”。只要是中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。

另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。

python的使用确实十分方便:)

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。