archive.org does not respect HTTP 429 when scraping our site
有网友反应archive.org备份本站失败。
本站有防DoS限速机制,过于频繁抓取会被429。
archive.org在抓取本站过程中存在GET频率过高的情况(> 30/分钟),经常被429。
现已放宽DoS过滤器限制,预计情况会有较大改善。
邹韬奋虽然韬光养晦,亦当奋起而争(拜登永不为奴:h.2047.one) 给archive.org放白名单如何?
有网友反应archive.org备份本站失败。
本站有防DoS限速机制,过于频繁抓取会被429。
archive.org在抓取本站过程中存在GET频率过高的情况(> 30/分钟),经常被429。
现已放宽DoS过滤器限制,预计情况会有较大改善。
给archive.org放白名单如何?