0

为啥有的网站同时设置 cloudflare 的 IUAM 跟 robots.txt，这两者不冲突吗？

 2 years ago
source link: https://www.v2ex.com/t/831745
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

V2EX  ›  程序员

为啥有的网站同时设置 cloudflare 的 IUAM 跟 robots.txt，这两者不冲突吗？

  haoliang · 1 天前 · 849 次点击

在我看来 iuam 的 Please stand by, while we are checking your browser... 是对 client 做一些技术上的门槛限制以减轻 ddos, 我更觉得是其 webmaster 期望访问者必须是使用一般意义上的 browser 。

我的疑问是开启了 iuam 的网站期望被搜索引擎收录吗？搜索引擎在未拿到 robots.txt 之前怎样对待开启了 iuam 的网站？


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK