文章
公告通知

archive.org does not respect HTTP 429 when scraping our site

thphd
thphd  ·  2020年11月10日 2047前站长

有网友反应archive.org备份本站失败。

本站有防DoS限速机制，过于频繁抓取会被429。

archive.org在抓取本站过程中存在GET频率过高的情况（> 30/分钟），经常被429。

现已放宽DoS过滤器限制，预计情况会有较大改善。

154 次浏览
菜单
  1. thphd
    thphd   2047前站长
  2. 邹韬奋 外逃贪官CA
    邹韬奋   虽然韬光养晦，亦当奋起而争(拜登永不为奴：h.2047.one)

    给archive.org放白名单如何？

  3. 白脸角鸮
    白脸角鸮   加帕里公园原政府前总理，加帕里图书馆馆长

    @消极 #112379 这个建议不错，反正光做个页面快照抓取频率高不到哪里去，设个白名单对页面快照的限速稍微放宽一点也未尝不可。