2

求指路淘宝爬虫姿势

2 years ago

source link: https://www.v2ex.com/t/809639
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

求指路淘宝爬虫姿势 - V2EX

V2EX › 程序员

求指路淘宝爬虫姿势

sengxian · 13 小时 32 分钟前 · 1132 次点击

现在有个需求，需要爬某品类下不同商家的大量商品详情及图片，总量约十万级别，预算比较充足，请问现在有靠谱的方法吗，是不是会面临比较大的政策风险 = =

求指路，感激不尽

21 条回复 • 2021-10-22 10:48:32 +08:00

lsylsy2 13 小时 31 分钟前 7

你的预算和法务都很难比阿里更充足

x86 13 小时 24 分钟前

阿里法务部希望你在年前可以做出来，这样好冲下 KPI

Xusually 13 小时 11 分钟前 via iPhone

Prison Oriented Programming

ByZHkc3 13 小时 4 分钟前

这是留下犯罪证据吗

kiracyan 12 小时 56 分钟前

吃牢饭的姿势?

defunct9 12 小时 55 分钟前

慢速 + 疯狂换代理，应该可以

Kiriya 12 小时 54 分钟前

爬虫写的好，牢饭吃到饱狗🐶

xiadd 12 小时 48 分钟前

雇人人工保存🐶

ixuuux 11 小时 27 分钟前 via iPhone

方法是有的，但是你要合规那没有

mxT52CRuqR6o5 11 小时 24 分钟前 via Android

@xiadd 雇人工手爬是最法律安全的，不过还是可能被反爬虫

eason1874 11 小时 13 分钟前

《面向法律编程》

@xiadd @mxT52CRuqR6o5 人工仅仅是访问合规，还有用途合规，这才是重点。要是用来盈利的，不管怎么收集都不会是合规的

johnsonshu 11 小时 12 分钟前

借楼问一下，爬某个网站合不合法，是不是看 robots.txt 就行啊？
有没有什么判断标准啊？

Jooooooooo 11 小时 9 分钟前

预算充足就人工搞呗.

十万个 10 天, 一天搞 1w, 雇 100 个人, 一人搞 100.

eason1874 10 小时 44 分钟前

@johnsonshu #12 法律很灵活，主要看你的财力和法务团队的能力。今日头条的历史就是一部爬虫与法律关系史。

1 、今日头条发家的时候肆无忌惮地采集，根据不管 robots.txt ，一律抓取放到自己网站，被百度、腾讯、微博等很多大网站和报纸起诉，一些和解转为合作，一些赔点钱。
2 、后来反过来，有个小公司采集今日头条的视频，几个主要人员被判刑和罚款，全国首例“爬虫”技术侵入计算机系统案。
3 、今日头条被微博 robots.txt 拉黑，他们还反过来起诉微博不正当竞争，2017 一审胜诉，2021 二审才改判败诉。

caicaiwoshishui 1 小时 31 分钟前 via iPhone

@eason1874 血压上来了

lilihangzhou 1 小时 21 分钟前

劝退，曾经爬过一小阵子淘宝有好货的文案，那个时候做爬虫还没什么法律风险，但是淘宝的反爬很厉害，爬了几万数据就被堵上了，

oneisall8955 1 小时 0 分钟前 via Android

对接第三方吧？

supuwoerc 52 分钟前

预算够的话直接上人工，手动保存，这样就没政策风险了🐶

lzs5240 47 分钟前

阿里法务部已记录在案希望你赶紧行动

shanghai1943 22 分钟前

莫非这帖子是阿里法务的钓鱼贴？

keventseng 4 分钟前

做之前，先把“张三”请来当你的法律团队~

关于 · 帮助文档 · FAQ · API · 我们的愿景 · 广告投放 · 感谢 · 实用小工具 · 4061 人在线 最高记录 5497 ·

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 49ms · UTC 02:53 · PVG 10:53 · LAX 19:53 · JFK 22:53
♥ Do have faith in what you're doing.

Recommend

About Joyk

Aggregate valuable and interesting links.
Joyk means Joy of geeK