出品 | CDA数据分析师

在当下大数据时代，数据具有非常大的价值，许多企业都需要使用它，无论是以商用形式还是非商用形式。而Web抓取是最常见的数据获取方式之一，Web抓取使用漫游器自动访问和收集公共可用的数据。

许多网站和服务出于数据安全及利益的考虑，会禁止在其ToS中进行数据抓取，网页抓取的合法性目前仍然是一个灰色地带，然而到目前为止，全国各个国家关于数据爬取的法律条文都不太一致，强制实施程度也大不相同，因此进行数据抓取业务需要保持警惕，并应该根据过往一些法律案件判断其合法性。

这就是为什么我们有必要讨论一些对当前Web数据抓取条例起到开创性作用的案例，让我们回顾一下有关当前Web数据抓取比较典型的三大法律案件。

案例一：Craigslist vs 3Taps

Craigslist和3Taps之间的案例为数据爬取的合法性以及企业拒绝访问公开数据的权利设置了许多先例。它涉及以下三个公司：Craigslist，3Taps和PadMapper。

Craigslist是一个网站和平台，允许用户发布各种不同类别的分类广告。用户可以在Craigslist上做任何广告，其用户量也非常大。Craiglist使用的关键内容之一是找到住房以及备用房间。

PadMapper是一家汇总房屋广告并允许用户搜索其附近可用房屋的公司。为了实现此目的，PadMapper需要从各种不同的来源中抓取数据，Craigslist是PadMapper抓取数据的众多站点之一。在2012年，PadMapper使用Craigslist生成的地图可以显示可用房间的位置。3Taps也是另一项业务，作为日常操作的一部分，它也在抓取Craigslist的数据，这其中涉及到了从公开可用的数据集中收集大量数据。

PadMapper和3Taps都在他们从Craigslist收集到的数据中获得利益，尽管这种方式是间接的。但是，已抓取的数据是公开可用的，并且Craigslist并未尝试限制对数据的访问。Craigslist的创始人Craig Newmark曾经写了一篇文章，哀叹其服务的存在使Craigslists自己的资源非常紧张，并指出：“我们只考虑消耗大量宽带的服务”。2012年6月，Craigslist向PadMapper发送了一封停止访问信，要求他们之后不能再从该网站抓取有关房地产列表的数据。

Craigslist阻止了PadMapper和3Taps这两家公司的IP地址访问该网站，从而有效地切断了他们对Craigslists数据的访问及获取。Craigslists认为此操作是对数据的访问的进行了限制，换句话说，他们采取的立场是，在阻止这些企业的IP地址之后，应将他们对原本可以公开获得的数据的访问视为已受到密码保护。

根据《计算机欺诈和滥用法》，未经授权访问数据是非法的，而访问公开数据不是非法的，因此此案的重点是Craigslist是否可以使用该行为来防止个人用户访问其他公开数据。对于整个数据抓取行业，这是一个重要的问题。2012年，该行业还处于一个相对较早的阶段，在过去的七年中，它的发展无疑已经相当可观。

3Taps使用代理服务绕过了IP地址，从而继续抓取Craigslist网站上的数据。PadMapper然后也开始通过3Taps间接访问Craigslist上的数据。然后，Craigslist便对这两家公司的违法行为进行起诉。他们声称其违反了CFAA，并且侵犯了Craigslist的版权。3Taps方面则并不认为它违反了CFAA，因为相关数据是公开可用的，这意味着每个人都是法律上的授权用户。同时，他们声称，实施模糊的访问限制可能会带来一些负面影响，这可能给其他滥用其任意撤销数据访问能力的企业打开了大门。

法院站在Craigslist的立场上，根据CFAA确认，知识产权的封锁，停止和终止都可以单独视为充分的撤销访问通知。最后，该案在庭外和解，Craigslist收到了100万美元，这笔款项捐赠给了电子前沿基金会（Electronic Frontier Foundation），他们对Craigslist此案提供了很大的帮助。

这种情况提供的先例是，如果网站阻止了您的IP地址，如果继续通过代理或VPN访问其服务器，根据CFAA则可能会被视为违反法规行为，并被归类为未经授权的数据访问。显然，这对于许多刮板企业来说是站不住脚的。

案例二：LinkedIn vs HiQ

LinkedIn与hiQ Labs（硅谷的数据抓取公司，与3Taps公司性质类似）之间的争执与上述情况相呼应。争议本质上非常相似，围绕的是LinkedIn是否可以阻止创业公司访问LinkedIn上公开可用的数据。

就像Craigslist一样，LinkedIn向hiQ发送了一封终止通知函，要求他们立即停止从LinkedIn服务器上抓取数据。他们还声称，该抓取行为违反了CFAA和《数字千年版权法案》。

HiQ对此作出了回应，对LinkedIn提起了自己的诉讼，要求法院在判决他们与LinkedIn之间的案件时提供禁制令。法院批准了该禁令，直到案件确定为止，LinkedIn被迫允许hiQ公司对他们的服务器进行访问。

LinkedIn对该禁令提出上诉失败，此案仍在审理中。

该案尚未得到判决，但是法院没有简单地将案件归因于Craigslist Vs 3Taps案，这表明法律制度认识到情况已经发生了变化。今天的数据抓取现象与七年前已经有很大的不同。

案例三：瑞安航空 vs PR航空

欧洲法院对此案进行了辩论，但与上述两种情况相同。PR Aviation通过访问Ryanair的服务器以获取数据，使用户能够对不同的航班价格进行比较。与美国法院不同，EUCJ迅速做出了判决。瑞安航空认为，PR Aviation的行为是违反服务条款的行为，也是侵犯版权的行为。

该案的焦点在于瑞安航空是否可以限制对其公开数据库的访问，或者是否将被数据库指令覆盖。法院裁定，公开数据库的所有者确实有权施加自己数据的访问限制。国家法院将对TOS的执行提起诉讼，并决定该指令是否涵盖数据库。这意味着在欧盟，许多公共数据库所有者被允许施加自己的访问限制。

在上面的三个案例中，焦点主要都集中在该国法律是否允许对其公开数据库加以限制，从而决定该数据获取行为是否构成违法行为。在当今信息膨胀的时代，web获取数据的应用渗透在我们工作的方方面面，而无论是哪种形式的数据获取，都将接受法律的监管。

根据上海数据治理与安全产业发展专业委员会的最新研究成果——《数据爬取治理报告》可知：

该报告指出，数据爬取作为数据采集的一种高效实现形式，是国内外诸多互联网企业极为通常甚至赖以生存的手段。总共包括数据爬取概述、数据爬取的现实法律风险、数据爬取的治理困境及难点、数据爬取的治理原则和建议、数据爬取相关争端案例五个部分。

首先从技术原理、技术分类、技术特点、应用现状、发展趋势和滥用危害六个部分介绍了数据爬取，并根据现实法律环境深度剖析了数据爬取在访问进入、数据类型和数据使用三个环节可能的法律风险，总结发现数据爬取治理的七大难点，并针对性提出五项治理原则，以及不同治理主体的应对措施，最后梳理了九个近年国内外较为典型的数据爬取司法判例。

洛克曾在《政府论》指出，在一切能够接受法律支配的人类状态中，哪儿没有法律，哪儿就没有自由。知法执法，合法行使网络数据获取的权利，也应当合法遵守网络数据获取的限制。