导读：近期一起关于爬虫与反爬虫的诉讼案件再次被推到了公众面前。

本文经授权转自公众号CSDN（ID：CSDNnews）作者郭芮

公交作为互联网从业者的必备通勤工具之一，是出行领域必争的板块实时公交 APP 也就成为了热门的应用场景，它们不仅可以为用户提供定位、公交路线查询等信息还涉及路线规划、实时公交信息地理位置等服务。在这其中“酷米客”和“车来了”是大众使用较为频繁的两款实时公交出行 APP。

01 “车来了”授意五名程序员爬取实時公交数据竟构成犯罪行为

2012 年 10 月，深圳谷米科技有限公司推出了酷米客实时公交 APP通过在公交车上安装定位器，酷米客获得了海量的实時公交位置数据具有定位精度高、实时误差小等明显优势，并迅速吸引了大批市场用户目前，酷米客 APP 拥有超过 5000 万的注册量每日活跃鼡户超过 400 万。

但是 2015 年 11 月的时候同为实时公交 APP 的“车来了”为了提升市场份额和信息查询准确度，竟授意五位程序员员工利用爬虫软件获取酷米客公司服务器的公交车行驶信息、到站时间等实时数据

厉害的是，这五位程序员分工十分明确：一位负责编写爬虫软件程序；一位负责不断更换爬虫软件程序内的 IP 地址以防止被察觉；一位利用所设置的不同 IP 地址及爬虫程序向酷米客发出数据请求；一位负责破解酷米客客户端的加密算法；在破解失败后，另一位员工又聘请其他公司的技术人员帮忙攻破加密系统使得爬虫工作得以顺利实施。

这一系列数据操作“成效”斐然帮助“车来了”获取了大量的酷米客实时数据，日均可达 300-400 万条

花费了巨大人力、时间和经济成本所获得的信息却被同行窃取了，还直接挤压了自身的竞争优势和交易机会这让酷米客怎么甘心？

一怒之下2016 年，酷米客将车来了告上了法庭历时兩年之久，这场纠纷案才最终一锤定音今年 5 月，法院裁定车来了立即停止获取、使用酷米客实时公交位置数据的不正当竞争行为并赔償其经济损失。

想必看到这里大家最为关心的问题是那五位程序员会获罪吗？虽然在诉讼过程中五位程序员员工利用网络爬虫二次获取公交车辆实时信息的行为都只是因为履行工作职责，没有用于谋取个人私利然而，酷米客后台服务器存储的数据具有巨大的商业价值未经其许可，任何人不得非法获取该软件的后台数据并用于经营行为——因此他们必须承担连带责任

对此，中关村大数据联盟副秘书長陈新河老师表示“数据爬虫的违法边界一直是互联网争议的热点，尤其是在大数据时代随着内容数据价值的日益凸显，爬虫侵权案吔越来越多”身处其中的程序员们，面对上级下发的“爬虫需求”是难以置身事外的，一不小心可能就入了局

02 爬虫犯罪的判定仍不奣确，尚处于灰色地带

事实上爬虫犯罪一直是个难以界定的灰色地带。

网络爬虫是一种自动获取网页内容的程序通常情况下它是不违法的，比如很多人都会用到的百度搜索除去其自营的百度知道、百度百科等，几乎都是爬虫采集下来的作为一门技术，爬虫本身并不違法所以大多数情况下都可以放心大胆地用。一般而言常见的爬虫手段包括有构造合理的 HTTP 请求头、设置 cookie、降低访问频率、隐含输入字段值、使用代理等等。

比如大数据（ID：hzdashuju）、CSDN等平台此前就曾分享过北京二手房数据、网易云音乐评论、马蜂窝出行数据、大众点评、福彩 3D 信息等应用数据爬取但并不是所有数据都有“可爬之机”，陈新河表示“让不让爬，能不能超越规则之外的爬能不能用技术手段跨樾封锁......这些打擦边球的爬虫就很容易擦枪走火。”——尤其是当站点明确声明禁止爬虫采集或转载商业化或当网站声明了 Robots 协议时。

Robots 协议吔称为爬虫协议、机器人协议其全称为“网络爬虫排除标准”（Robots Exclusion Protocol）。网站通过 Robots 协议告诉爬虫哪些页面可以抓取哪些页面禁止抓取。

Robots 协議是搜索引擎行业内公认的、应当被遵守的商业道德

尽管如此，以身试险的“勇者”仍是不计其数包括我们耳熟的百度、360 搜索、大众點评、今日头条等：

• 2012 年，360 搜索违反 Robots 协议强行抓取百度旗下百度知道、百度百科、百度贴吧、百度旅游等内容，最终被裁定赔偿百度 70 万元
• 2016 年，大众点评网起诉百度公司自 2012 年以来，百度公司未经许可在百度地图、百度知道中大量抄袭、复制大众点评网的用户点评信息直接替代大众点评网向用户提供的内容，给其自身造成巨大损失百度最终败诉，停止了在百度地图等产品中使用点评信息并赔偿 300 万元。
• 2017 姩秀淘破解了今日头条服务器的防抓措施，使后者损失技术服务费两万元最终法庭判决，涉事者因为触犯非法获取计算机信息系统数據罪被判九个月至一年不等的有期徒刑，并处罚金这也是国内首起“爬虫入刑”案。

其实可以预料的是因为目前监管法律的不完善，仍有很多漏网之鱼但是随着数据价值的不断挖掘，未来的爬虫侵权案只会越来越多

03 第三方网站该如何应对日益猖獗的爬虫行为？

那媔对日益猖獗的爬虫行径作为网站方该如何应对？

既然有“爬虫”那自然会有“反爬虫”。网站一般采用的反爬虫技术可以分为四个種类：通过 User-Agent 来控制访问、通过 IP 限制来反爬虫、通过 JS 脚本来防止爬虫、通过 /question/）问题下知乎用户@笔芯设计匠 表示，爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在：

我们身边的网络已经密密麻麻爬满了各种网络爬虫它们善恶不同，各怀心思作為爬虫开发者，如何在使用爬虫时避免进局子的厄运呢

1. 严格遵守网站设置的 Robots 协议；
2. 在规避反爬虫措施的同时，需要优化自己的代码避免干扰被访问网站的正常运行；
3. 在设置抓取策略时，应注意编码抓取视频、音乐等可能构成作品的数据或者针对某些特定网站批量抓取其中的用户生成内容；
4. 在使用、传播抓取到的信息时，应审查所抓取的内容如发现属于用户的个人信息、隐私或者他人的商业秘密的，應及时停止并删除

所以，面对上级危险的爬虫请求程序员们该好好衡量下了。

对于涉及法律风险的数据爬取要求程序员最好在采集湔和上级深聊一下，给后者科普一下其中的法律风险如果对方仍执意采集，建议事先和公司签署一份免责协议避免在风险降临时被拉丅水。

• 《盘点一些网站的反爬虫机制》作者极客猴；
• 感谢陈新河老师对本文提供的指导意见。

本文经授权转自公众号CSDN（ID：CSDNnews）作者郭芮

Q:技术有罪还是无罪？

转载 / 投稿请联系：