数据安全|网络爬虫技术的法律分析

近日，裁判文书网公布的一则判决书显示，被告人逯某利用爬虫技术通过淘宝网页接口爬取了淘宝网用户约11.81亿条信息，被判处有期徒刑三年三个月。

在信息技术不断发展的现在，数据资源逐渐成为了众多互联网企业尤为重视的核心竞争资源，为了获取更多的数据资源，不少互联网企业之间甚至因为争夺数据资源而对簿公堂。这些企业争夺数据资源的方式多种多样，包括搜索降权，强制跳转等等，在这些之外，各个企业还有一项“爬虫技术”帮助它们获取更多的数据资源。

首先，爬虫作为一种计算机技术，法律并未明确对其运用进行禁止，也即是说，爬虫本身是中立性的。那么，爬虫爬取的对象如果是提供公开信息的网站，如裁判文书网，执行信息公开网，毫无疑问是合法的。

其次，如果爬虫是对于商业网站的信息进行爬取，则需要注意以下的一些问题：

1.爬取的数据合法吗？

如果爬虫爬取的数据是商业网站中的公开数据，那也是被允许的，但如果爬虫爬取的数据性质属于非公开的私密数据，那此时的爬虫将有可能涉及侵犯商业秘密问题。

2.目标网站允许爬取吗？

一般认为，当目标网站设置了反爬虫技术，或发布了反爬虫声明时，该网站是不可以被爬取，技术措施也不应当被爬虫突破的。而当网站未有作任何的反爬措施时，则爬虫爬取该网站的公开信息是合法的。

3.目标网站有反爬虫协议（robots协议）吗?

互联网行业对于爬虫技术的规制有一项行业自律协议名为robots协议。该协议又称robots.txt，是一种存放于网站根目录中的文件，它规定了网站中的内容哪些可以被爬虫所获取，哪些是不允许爬虫获取的，就像酒店客房门口的“请勿打扰”标志，一旦客房挂出标志，服务员就不能强行进入一样。Robots协议虽然只是互联网从业人员之间的行业自律协议，本不具有强制力，但该协议在目前的司法实践中已经成为了认定竞争行为合法性的重要依据之一，在百度诉360不正当竞争的系列案件中，对于robots协议性质的认定一度成为案件的争议焦点，对案件最终的裁判结果产生了重要影响。

4.爬取数据的行为会损害对方利益或构成其他不正当竞争行为吗?

li法律鼓励技术创新、成果共享，但必须建立在尊重他人合法利益的基础之上。因此，爬虫技术的使用必须尊重其他经营者的合法权益，对于利用爬虫技术侵害其他经营者正当商业利益的行为，包括但不仅限于利用他人的数据资源形成实质性替代的这一类行为，法律必然难以认同。在大众点评网诉爱帮网不正当竞争一案中，法院认为爱帮网的行为事实上造成爱帮网向网络用户提供的涉案点评内容对大众点评网的相应内容的市场替代，对大众点评运营方汉涛公司的利益产生实质性损害，作出了爱帮公司停止使用“大众点评网”的商户简介和用户点评、停止虚假宣传、消除影响并赔偿经济损失的判决。

5.爬取数据的行为是否会严重影响网站运行?

《数据安全管理办法》中规定：“网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，网站要求停止自动化访问收集时，应当停止。”爬虫技术的使用对于目标网站往往产生巨大的流量负担，从而导致网站出现严重滞缓，因此，法律上也特别对这个问题作了规定。