如果要爬取的网站上没有设置robots.txt，那么是不是代表默认都允许爬取呢？有没有法律风险呢？
一般不模拟登录再爬取，就没有风险。
您好，请问 robots.txt 在哪里获取？ 模拟登录再爬取不合法的吗？
一般网站根目录就有。模拟登录之后会有用户名留下。
国内环境而言，和robots关系不大，关键是你爬了谁
除非网站某些页面或运营商通过其他渠道明确指定了，否则都能爬。但是要注意爬取过程中不要影响网站正常运行，以及注意使用获取的信息时不违反网站的使用许可
Scrapy
一般不模拟登录再爬取，就没有风险。
您好，请问 robots.txt 在哪里获取？ 模拟登录再爬取不合法的吗？
引用来自“开源中国首席罗纳尔多”的评论
您好，请问 robots.txt 在哪里获取？ 模拟登录再爬取不合法的吗？
一般网站根目录就有。模拟登录之后会有用户名留下。
国内环境而言，和robots关系不大，关键是你爬了谁
除非网站某些页面或运营商通过其他渠道明确指定了，否则都能爬。但是要注意爬取过程中不要影响网站正常运行，以及注意使用获取的信息时不违反网站的使用许可