第一点没什么捷径可走，套路见得多了，也就有经验了。关于第二点，今天咱们就来介绍一个小工具，在某些需求场景下，或许可以给你省不少事。

　　Goose是一个文章内容提取器，可以从任意资讯文章类的网页中提取文章主体google手机版翻墙插件下载安卓版下载，并提取标题、标签、摘要、图片、视频等信息，且支持中文网页。它最初是由用 Java 编写的。python-goose 是用 Python 重写的版本，python3 的版本叫做 goose3。

　　有了这个库，你从网上爬下来的网页可以直接获取正文内容，无需再用 bs4 或正则表达式一个个去处理文本。

　　如果是 goose3，因为使用了requests库作为请求模块，因此还可以以相似方式配置headers、proxies等属性。

　　在上述示例中使用到的StopWordsChinese为中文分词器，可一定程度上提高中文文章的识别准确率，但更耗时。

　　1.Goose 虽然方便，但并不能保证每个网站都能精确获取，因此适合大规模文章的采集，如热点追踪、舆情分析等。它只能从概率上保证大多数网站可以相对准确地抓取。我经过一些尝试后发现，抓取英文网站优于中文网站，主流网站优于小众网站，文本的提取优于图片的提取。

　　3.如果你是使用基于 python2 的 goose，有可能会遇到编码上的问题（尤其是 windows 上）。这方面可以在公众号对话里回复关键词编码，我们有过相关的讲解。

　　最后，我们来用 goose3 写小一段代码，自动抓取爱范儿、雷锋网、DoNews上的新闻文章：

　　在此基础上，你可以继续改进这个程序，让它不停地去寻找新的地址并抓取文章，并对获取到的文章进行词频统计、生成词云等后续操作。类似我们之前的分析案例 。进一步完善，相信你能做出更有意思的项目。