小周去年在杭州开了一家外卖代运营工作室。专帮那些不懂做线上流量的餐饮老板打理店铺。赚的就是服务费。
一开始缺客户。他想，平台上公开挂着几公里内所有餐饮商家的信息啊，评分、地址、做什么品类都写得清清楚楚，拿过来用不就行了？找了个大学生兼职，花三千块写了个爬虫，一周爬了本地两万多条商家数据。
没做三个月，法院传票寄到了家门口。平台告他不正当竞争。
最后调解，赔了八万。
真疼。八万，是他开工作室半年攒的全部利润。
创业者眼里的爬虫：是工具还是小偷？
说实话，我之前跑创业沙龙，一半以上的小创业者都用过爬虫，没人觉得这是什么天大的错事。大家都是这么玩过来的：做内容的爬公域素材，做电商的爬竞品价格，做招聘的爬候选人信息，不都是拿网上公开的东西用吗？怎么就成违法了？
换谁碰到小周这事，都会觉得委屈。我又没黑你服务器，又没偷你藏着的隐私，你自己放在网上给所有人看的，我抄一份怎么了？
这种认知差，就是现在最常见的坑。很多人对爬虫抓取数据权限的概念，还停留在十年前，觉得只要是公开的就是无主的，谁都能拿。可现在互联网的商业逻辑变了，数据本身就是平台吃饭的本钱，你零成本拿走人家砸钱攒出来的资产，换谁能忍？
规则早就变了：公开可见≠可以随便用
很多人不知道，前几年大众点评诉百度爬虫的案子，早就把核心规则摆出来了。搜索引擎爬你数据给你导流，那是合理使用，大家都受益。可你把整座平台的点评数据全爬走，拿来做自己的本地生活服务，抢原平台的生意，那就是不行。
说白了，现在法官判这类案子，核心就看三点，根本不跟你扯什么公开不公开的空话。
第一，你有没有绕过平台的反爬措施？人家设了验证码、限了IP、要求登录才能访问，你非要用代理IP、打码平台绕过去，这性质就变了——从“捡路边没人要的东西”变成了“翻院墙进人家院子拿东西”。小周就是栽在这，他被封了IP之后换代理接着爬，直接坐实了故意侵权。
第二，你爬数据拿来做什么？如果你是自己做学术研究、个人参考，那没人会找你麻烦。可你爬完了批量拿去做商业使用，还直接和原平台抢生意，那就是动了人家的核心利益，不告你告谁？
第三，你爬的内容里有没有个人信息？只要沾了公民个人信息，不管是不是公开，碰了就是大问题，严重的还能触刑，可不是赔钱这么简单。
碰爬虫的，记住这三条红线就够了
我见过太多刚毕业的技术党、做小生意的创业者，就是因为对权限边界没概念，辛辛苦苦做起来的项目说没就没，还欠了一屁股债。这里把最核心的红线划出来，都是无数案子堆出来的经验：
第一条，绝对不要绕反爬。平台不让爬就是不让爬，robots协议写了禁止，你非要爬，出事了没人能帮你。
第二条，绝对不要拿爬来的 data 和原平台抢核心生意。人家花了几个亿攒的用户数据、商家数据，那是人家的核心资产，你零成本拿走抢生意，法官不可能站你这边。
第三条，沾个人信息的，碰都别碰。哪怕是商家老板公开挂在网上的手机号，你批量爬来做营销，那也是侵犯公民个人信息，数量够了直接立案。
前阵子又碰到小周，他现在不搞爬虫了，雇了两个小孩，每天手动在平台上找商家，一天攒七八十条，累是真累，他说现在每天下班关门，倒头就能睡，不用再盯着手机怕收到传票，挺好。
网上那些卖什么“万能隐身爬虫”“全网随便爬不被查”的，说句不好听的，都是赚黑心钱。真出了事，他早把你拉黑了，锅还得你自己背。
不过话说回来，我也不觉得爬虫是什么洪水猛兽。互联网本来就是靠爬虫才有了搜索引擎，才有了现在的开放便利。法律从来不是要打死所有爬虫，只是要把爬虫抓取数据的权限划清楚：哪些能碰，哪些不能碰，碰了要付出什么代价。
现在这块规则还在跟着新案子一点点长，就像刚学走路的人，大家都在陌生的地方试探。创业者踩坑，法律也跟着这些踩坑的痕迹，一点点把边界磨清楚。路嘛，本来就是走出来的。
