Web Scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等等。

　　不能FQ的可以使用本地FQ方式，在本公众号回复「爬虫」，可下载 Chrome 和 Web Scraper 扩展插件

　　1、打开 Chrome，在地址栏输入，进入扩展程序管理界面，然后将下载好的扩展插件 Web-Scraper_v0.3.7.crx 拖拽到此页面，点击“添加到扩展程序”即可完成安装。如图：

　　打开后的效果如下，其中绿色框部分是开发者工具的完整界面，红色框部分是 Web Scraper 区域，也就是我们之后要操作的部分。

　　1、通过一个或多个入口地址，获取初始数据。例如一个文章列表页，或者具有某种规则的页面，例如带有分页的列表页；

　　原理大致如此，接下来正式认识一下 Web Scraper 这个工具，来，打开开发者工具，点到 Web Scraper 这个标签栏，看到分为三个部分：

　　Create new sitemap：首先理解 sitemap ，字面意思网站地图，这里可以理解为一个入口地址，可以理解为其对应一个网站，对应一个需求，假设要获取知乎上的一个问题的回答，就创建一个 sitemap ,并将这个问题所在的地址设置为sitemap 的 Start URL，然后点击 “Create Sitemap”即可创建一个 sitemap。

　　Sitemaps:sitemap 的集合，所有创建过的 sitemap 都会在这里显示，并且可以在这里进入一个 sitemap 进行修改和数据抓取等操作。

　　其中红色框部分 Add new selector 是必不可少的步骤。selector 是什么呢，字面意思：选择器，一个选择器对应网页上的一部分区域，也就是包含我们要收集的数据的部分。

　　需要解释一下，一个 sitemap 下可以有多个 selector，每个 selector 有可以包含子 selector ，一个 selector 可以只对应一个标题，也可以对应一整个区域，此区域可能包含标题、副标题、作者信息、内容等等信息。

　　Selector graph:查看当前 sitemap 的拓扑结构图，根节点是什么，包含几个选择器，选择器下包含的子选择器。

　　到这里，有一个简单的认识就可以了，实践出真知，具体的操作案例才具有说服力，下面就以几个例子来说一说具体的用法。

　　需求背景：看到下面 hao123 页面中红色框住的部分了吧，我们的需求就是统计这部分区域中的所有网站名称和链接地址，最后以生成到 Excel 中。 因为这部分内容足够简单，当然真正的需求可能比这复杂，这么几个数据手工统计的时间也很快。

　　1、假设我们已经打开了 hao123 页面，并且在此页面的底部打开了开发者工具，并且定位到了 Web Scraper 标签栏；

　　5、首先给这个 selector 指定一个 id，就是一个便于识别 名字而已，我这里命名为 hot。因为要获取名称和链接，所以将Type 设置为 Link，这个类型就是专门为网页链接准备的，选择 Link 类型后，会自动提取名称和链接两个属性；

　　6、之后点击 select ,然后我们在网页上移动光标，会发现光标所到之处会有颜色变化，变成绿色的，表示就是我么当前选择的区域。我们将光标定位到需求里说的那一栏的某个链接处，例如第一个头条新闻，在此处单击，这个部分就会变成红色，说明已经选中了，我们的目的是要选多个，所以选中这个之后，继续选第二个，我们会发现，这一行的链接都变成了红色，没错，这就是我们要的效果。然后点击Done selecting!(data preview是选中元素的标识符，可手动修改，通过class 、元素名称来确定元素如：div.p_name a)，最后别忘了勾选Multiple ，表示要采集多条数据；

　　7、最后保存，save selector。点击Element preview 可以预览选择的区域，点击 Data preview 可以在浏览器里预览抓取的数据。 后面的文本框里的内容，对于懂技术的同学来说很清楚，这就是 xpath，我们可以不通过鼠标操作，直接手写 xpath 也可以；

　　简单的介绍完了，接下来试一个有些难度的，抓取一个知乎问题的所有答案，包括回答者昵称、赞同数量、回答内容。问题：为什么鲜有炫富的程序员？

　　1、首先还是在 Chrome 中打开这个链接，链接地址为：，并调出开发者工具，定位到Web Scraper 标签栏；

　　4、先来分析一下知乎问题的结构，如图，一个问题由多个这种区域组成，一个区域就是一个回答，这个回答区域包括了昵称、赞同数、回答内容和发布时间等。红色框住的部分就是我们要抓取的内容。所以我们抓取数据的逻辑是这样的：由入口页进入，获取当前页面已加载的回答，找到一个回答区域，提取里面的昵称、赞同数、回答内容，之后依次向下执行，当已加载的区域获取完成，模拟向下滚动鼠标，加载后续的部分，一直循环往复，直到全部加载完毕；

　　5、内容结构的拓扑图如下，_root 根节点下包含若干个回答区域，每个区域下包含昵称、赞同数、回答内容；

　　6、按照上面这个拓扑图，开始来创建选择器，填写 selector id 为 answer（随意填），Type 选择 Element scroll down 。解释一下：Element 就是针对这种大范围区域的，这个区域还要包含子元素，回答区域就对应 Element，因为要从这个区域获取我们所需的数据，而 Element scroll down 是说这个区域利用向下滚动的方式可以加载更多出来，就是针对这种下拉加载的情况专门设计的。

　　7、接下来点击 Select，然后鼠标到页面上来，让当绿色框框住一个回答区域后点击鼠标，然后移动到下一个回答，同样当绿色框框住一个回答区域后点击鼠标。这时，除了这两个回答外，所有的回答区域都变成了红色框，然后点击Done selecting！”，最后别忘了选择 Multiple ，之后保存；

　　9、创建昵称选择器，设置 id 为 name，Type 设置为 Text翻墙手机用谷歌，Select 选择昵称部分，如果没经验的话，可能第一次选的不准，发现有错误，可以调整，保存即可；

　　12、执行 Scrape 操作，由于内容较多，可能需要几分钟的时间，如果是为了做测试，可以找一个回答数较少的问题做测试。

　　这是简易数据分析系列的第 4 篇文章。 今天我们开始数据抓取的第一课，完成我们的第一个爬虫。因为是刚刚开始，操作我会讲的非常详细，可能会有些啰嗦，希望各位不要嫌弃啊：） 有人之前可能学过一些爬虫知识，总觉得这是个复杂的东西，什么 HTTP、HTML、IP 池，在这里我们都不考虑这些东西。一是小的数据量根本不需要考虑，二是这些乱七八糟的东西根本没有说到爬虫的本质。 爬虫的本质是什么？其实就是找规律。...

　　目录 序章 关于内存与磁盘的资源组织 关于大数据与小数据 关于磁盘里block的回收 序章 前一章，我们大体了解了存储层的大体设计原理。但是解决了一个问题，又冒出一堆问题。具体的问题有 Bolock里面有脏数据了，怎么回收。 索引节点感觉还有几个问题，但是我一时说不上来。 断电了咋办，数据怎么恢复？ block是怎么组织的，内存是怎么组织的。 这一节，就解决这几个问题。 关于内存与磁盘的资源组织 ...

　　微信关注：脑机接口研习社 追踪脑机接口最新资讯 文章目录 Abstract 一、INTRODUCTION 二、RESULTS Abstract 侵入式脑电极是体内与单个神经元电接口的唯一手段，但是它们的记录效率和生物相容性使其在科学和临床应用中是有局限的。我们发现具有亚细胞尺寸、超柔韧性和细胞外科手术印记(cellular surgical footprints)的纳米电子线（nanoelectr...

　　如图： 可以把图中三个黑圈的质心找出来 代码大致如下： 补充说明：plot_x， plot_y中记录了质心坐标信息,num代表了质心的个数&nbs...

　　基本类型在方法之间是值的传递，引用类型在方法之间是地址的传递 案例一： 结果： 案例二： 结果： 你可能会疑惑，为什么第二次的结果不是null？ 首先需要明确的是，对象都是放在堆里面的，main方法与changeUser方法的user都是对象的一个名称，都是保存着new User()对象的引用地址；changeUser方法的user名称为null，表示断开new User()对象的连接。 &nbs...

　　近日，有微博网友称遭到自称“大麦网工作人员”的诈骗电线万元的财产损失，随后又有网友纷纷跟帖表示有相同经历，据统计，截止目前为止已有39名大麦网用户受骗，造成财产损失147.42万元，单人受骗金额最高近10万元，甚至有受害者表示，被骗的5万元是准备给父亲买墓地的，现在受骗不敢和家人提及，承受了巨大的精神压力，目前警方已介入调查。 大麦网深表歉意 先行承...

　　首先来说一点python函数的一点知识： 当python遇到def语句的时候，会在内存中生成一个函数对象，并且这个对象考函数名来引用，但是这个函数体内部的语句只有在函数的调用的时候才会被执行，而函数调用结束了，就是函数返回时，其内部所有所生成的数据所有都会被销毁 闭合函数： 我们的所有函数在调用返回时，内层函数记忆外层函数中的变量，但是一定是内层函数调用的外层函数的变量，如果内层函数不会调用，那么...

　　独立按键: 单片机上使用的大部分都是轻触开关，轻触按键。 独立键盘：每个按键占用一个io口，当按键数量较多时，io口利用效率不高，但程序简单，适用于所需按键较少的场合。 矩阵键盘：电路连接复杂，但提高了io口的利用率，软件编程较复杂。适用于使用大量按键的场合。 独立按键： 按键的一端与io口连接，另一端接地。通过控制io口输出高电平即可检测按键是否按下，当按下时io口会被拉...