- 全文页 - 中国裁判文书网（北京淘游天下科技有限公司与北京微盟创客网络科技有限公司不正当竞争纠纷案）

- 全文页 - 中国裁判文书网（北京百度网络技术有限公司与上海瀚涛信息咨询有限公司其他不正当竞争纠纷案件）

- 全文页 - 中国裁判文书网（上海盛品网络技术有限公司侯明强等非法获取计算机信息系统数据犯罪）

金杜律师事务所在其官方微信公众号“金杜研究院”发表文章（金杜知识产权主题月|数据战：网络爬虫涉及的法律问题）探讨使用爬虫的法律风险，并转载部分内容如下：

1、不遵守协议的法律风险

该协议是技术社区创建的一种机制，用于通过计算机程序在爬虫和被爬虫之间传达爬行意图。 另一个类似的机制是设置Meta标签。

根据中国互联网协会《互联网搜索引擎服务自律公约》第七条的定义，机器人协议（协议）是指互联网网站所有者使用.txt文件向网络机器人发出网站指令的协议。 （网络）。 具体来说，协议是网站所有者通过放置在网站根目录下的文本文件.txt来提示网络机器人哪些网页不应该抓取，哪些网页可以抓取。

该文件主要包含以下语句：

user-agent：用于指定搜索引擎网络机器人的名称；

：用于指定不希望被访问或爬取的网页或目录；

允许：用于表示允许网络机器人爬行的范围。 实践中，大多数网站在设置协议时主要使用“：”语句，很少使用“Allow：”语句。

关于协议的法律性质，我国现行法律并无明确规定，但《互联网搜索引擎服务自律公约》第七条规定，“遵循国际通行的行业惯例和商业规则，遵守通过机器人协议（协议）。” 第八条规定：“互联网网站所有者设立机器人协议，应当遵循公平、公开、促进信息自由流通的原则。 限制搜索引擎抓取应当有业界认可的正当理由，不得利用机器人协议进行不正当竞争。 积极营造鼓励创新、公平公正的良性竞争环境。”

虽然《互联网搜索引擎服务自律公约》仅适用于中国互联网协会会员和自愿加入《中国互联网行业自律公约》的互联网从业人员，但在司法实践中，该协议已被视为构成对互联网行业搜索领域从业者权益的侵犯。 商业道德：在百度与奇虎不正当竞争案中，北京第一中级人民法院将业界公认的协议认定为互联网行业搜索领域公认的商业道德。 法院在判决书中指出，“被告在上线搜索引擎之初，其网站也公开了该协议的内容及设定方式，表明包括被告在内的整个互联网行业均认可并遵守该协议”。协议。 它应该被认可为该行业的成员。 一般规则应被视为搜索引擎行业认可的商业道德并应得到遵守。”

因此，不顾网站设定的协议，随意抓取网站内容的行为将涉嫌违反《反不正当竞争法》第二条，即违反诚实信用原则和商业道德的不正当竞争行为。

至于该协议是否构成网站运营者与爬虫控制者之间具有约束力的合同，此事尚未有司法认定。 这需要详细的法律分析来论证，这里不再赘述。

2、强行突破网站设置的技术措施的法律风险

前面提到，由于爬虫的批量访问会给网站带来巨大的压力和负担，因此很多网站运营商都会采取技术措施来阻止爬虫批量获取其网站信息。 常见的技术措施包括：

通过UA识别爬虫；

设置IP访问频率。 如果超过一定频率，就会弹出验证码；

通过并发来识别爬虫；

请求的时间窗口过滤统计；

限制单个IP/API令牌的访问次数；

识别合法爬虫；

蜜罐资源等

虽然技术有很多种，但这些技术本质上都是网站运营者为了阻止爬虫批量访问和爬取信息而采用的技术手段，因此不存在实质性的法律差异。 对于这些技术手段，爬虫开发者可以通过优化自身代码、利用IP池等方法来规避上述技术措施，实现网站信息的批量抓取和复制。

如前所述，由于网络爬虫会根据特定策略访问尽可能多的页面，因此使用爬虫会占用被访问网站的网络带宽，增加网络服务器的处理开销，甚至可能妨碍正常的服务提供。 另一方面，虽然网站上的信息是公开的，但没有爬虫，一般经营者很难批量复制网站上的信息，比如抓取竞争对手的价格进行比价，或者实际调整自己的价格。时间。 。 当使用爬虫技术时，可以实现上述模型。

对此，我们认为可以适用反不正当竞争法第十二条第二款的规定。 即经营者不得利用技术手段，通过影响用户选择或者其他方式，干扰、破坏其他经营者合法提供的网络产品或者服务的正常运行： （四）其他妨碍、破坏网络产品正常运行的行为或其他运营者合法提供的服务：网络产品或服务的正常运行。

虽然上述规定只是反不正当竞争法互联网条款中的一个封面条款。 但它体现了法律禁止通过技术手段非法干扰他人产品的总原则。 因此，如果网站运营者采取了一定的反爬虫措施，而爬虫控制者出于商业目的，强行突破网站运营者采取的反爬虫技术措施，客观上造成被爬虫网站的正常运行，则很可能构成上述规定所规定的不正当竞争行为。 当然，在这种情况下，查明肇事者仍然是追究责任的巨大障碍。

此外，强行突破某些爬取方的技术措施也可能构成刑事犯罪。 刑法第285条规定，违反规定，侵入国家事务、国防建设、尖端科学技术等领域的计算机信息系统的，无论性质如何，均构成非法侵入计算机信息系统罪。情节是否严重。 《刑法》第286条还规定，违反国家规定，对计算机信息系统功能进行删除、修改、增加或者干扰计算机信息系统功能，致使计算机信息系统不能正常运行并造成严重后果的，构成犯罪。构成犯罪，处五年以下有期徒刑。 有期徒刑或者拘役； 后果特别严重的，处五年以上有期徒刑。 违反国家规定，删除、修改或者增加计算机信息系统中存储、处理、传输的数据和应用程序，造成严重后果的，也构成犯罪，依照前款的规定处罚。

3、爬虫抓取特定类型信息的法律风险

由于爬虫系统是通过解析代码来工作的，而爬虫控制者可能会采取伪装的行为来躲避网站运营者设置的反爬虫措施，通过爬虫，爬虫控制者将能够访问并捕获普通用户无法获取的信息。内容。 正因为如此，除了利用爬虫技术实现数据抓取本身存在风险外，爬虫控制者还可能因抓取某些受法律保护的信息而面临违反法律法规、甚至刑事犯罪的风险。

爬虫抓取的信息是受版权法保护的作品。

无论是互联网上的文章、图片、用户评论，甚至网站自身的数据库，只要具有原创性，都可能构成受版权法保护的作品。 对于此类信息的获取和使用是否构成著作权侵权，我们认为：

就网页访问行为而言，由于爬虫本身只是模仿人类的访问行为，因此就访问行为而言，访问行为对于本身已经可以通过人工访问访问的信息并不构成侵权。 但如果被爬虫的网站本身设置了一定的技术措施，保证只有特定的用户才能访问这些信息，而爬虫突破了这种限制，则爬虫的访问行为就可能涉嫌破坏该技术措施的违法或侵权行为。 ;

就数据保存而言，从著作权法的角度来看，抓取行为本质上是信息的复制，因此此类行为可能侵犯著作权人的复制权。 当然，我国对于临时抄袭是持宽容态度的。

就数据提取和使用而言，如果爬虫控制者爬取信息，然后在自己的网站上公开传播爬取的信息，则可能进一步侵犯信息网络传播权。

爬虫抓取的信息属于商业秘密

虽然在互联网上披露的信息很难构成商业秘密，但由于互联网上的某些信息可以通过技术措施进行访问，只有特定的用户才能访问，因此互联网上的信息仍然可能满足保密和保密的要求的商业秘密。 性，构成商业秘密的可能性。

根据反不正当竞争法第九条规定，以不正当手段获取他人商业秘密的，构成侵犯商业秘密。 如果以后进一步使用或披露该信息，将构成泄露、使用他人商业秘密，也构成侵犯权利人商业秘密。

因此，如果爬虫控制者在爬取信息的过程中故意规避网站运营者设置的保护措施，访问、保存甚至泄露普通用户原本无法访问的信息，并且该信息构成商业秘密，爬虫将不会有此类行为控制者的行为可能侵犯他人的商业秘密。

爬虫抓取的信息属于用户个人隐私

在微博、微信、博客等社交平台上，用户可以上传自己的信息并设置访问限制，或者使用加密功能只可以访问这些信息。 因此，这些信息仍可能属于用户的个人隐私。 因此，如果爬虫控制者绕过上述限制捕获用户的隐私，或者捕获后公开传播信息，给用户造成损害，则可能会侵犯相关用户的隐私权。 。

爬虫捕获的信息是防止不正当竞争的数据。

在大众点评诉百度不正当竞争案、新浪微博诉脉脉不正当竞争案中，法院认为，被告未经许可抓取、使用原告网站数据的行为，违反了诚实信用原则和公认的道德。互联网损害了互联网市场竞争秩序和原告的竞争优势，构成不正当竞争。

我们认为，这些案件的共同点是原告网站中的数据都是由用户产生的，而这些数据和内容是原告网站竞争力的主要来源。 因此，如果您捕获大众点评、新浪微博、知乎等UGC网站上用户发布的信息，并在自己的产品或服务中发布和使用这些信息，存在较大的不正当竞争风险。 。

爬虫抓取的信息属于用户个人信息

根据民法通则第一百一十一条规定，任何组织或者个人需要获取他人个人信息的，必须依法获取，并保证信息安全。 任何人不得非法收集、使用、处理、传输他人个人信息； 《网络安全法》第四十四条禁止任何个人和组织窃取或者以其他非法方式获取个人信息。 因此，如果爬虫未经用户同意而大量抓取用户个人信息，则可能构成非法收集个人信息的违法行为。

当然，涉及两个层面的个人信息。 对于用户在微博上公开发布的自行公开的个人信息（如电子邮件地址、电话号码等），尚存在用户自愿披露行为是否可以视为获得用户同意和同意的问题。从而可以随意捕获； 而对于用户不愿意公开发布的非公开个人信息网络推广，爬取行为极有可能被视为违法。

此外，更为严重的是，如果涉及个人信息，不仅爬取行为本身就带有很大的法律风险。 其后续行为也可能构成违法犯罪。

我国刑法修正案（九）对刑法第253条进行了修改网站推广公司，明确规定，违反国家有关规定，出售、向他人提供公民个人信息，情节严重的，构成犯罪；构成犯罪的，依法追究刑事责任。 未经许可，非法获取用户个人信息，情节严重的，也将构成“侵犯公民个人信息罪”。

根据《最高人民法院、最高人民检察院关于办理侵犯公民个人信息刑事案件应用法律若干问题的解释》第五条，对“情节严重”的解释是：（1 ）非法获取、出售或者提供行踪信息、通讯内容、信用信息、财产信息等50项以上的； （二）非法获取、出售、提供住宿信息、通讯记录、健康生理信息、交易信息等500项可能影响人身、财产安全的公民个人信息的。 以上; （三）非法获取、出售或者提供第（三）项、第（四）项以外的公民个人信息5000条以上，构成“侵犯公民个人信息罪”所需的“情节严重”的。

此外，未经被收集人同意，将合法收集的公民个人信息提供给他人的，属于刑法第253条之一规定的“提供公民个人信息”，可能构成犯罪。

文章原创于金源网络科技有限公司：http://haimianbeibei.com/