站点正在导入数据,暂时处于只读模式:这段时间里无法登录,也不能发帖或回复。

[Need Help]亲自做网警---挖掘品葱用户的点赞关系

观葱者网灰名单

前言: 最近友站涌进无数新用户,如同无数研究几大社交网站的论文,挖掘用户的抱团倾向也许是件有趣的事情。品葱用户的主要升级方式便是点赞。被点赞的用户可以积累声望乃至晋升管理员(真的吗?)。不管怎么说,点赞可以看出用户的喜好,被点赞的多半与该用户立场相近,可以理解为如同社交网站上的关注,更方便的是,点赞的数量可以用来量化两位用户之间的互动。 于是: 想写一个程序reclusive地自动拉取点赞关系(即当前用户点赞的对象,以及当前用户点赞的对象的点赞对象),并且绘制可视化的图形。理想的如同树装图?每个节点越大代表互赞越多?有什么比较好的JavaScript图形库和爬虫适合这个需求?我是小白,只知道selenium和fetch(),而后者不知道为何经常被cloudflare验证码挡住。。 基本设想中的伪代码如下

function 拉清单(uid){

while (page <= maxpage){

fetch("https://pincong.rocks/people/info/received_votes/uid-"+uid+"__page-"+page).then(response => parser1(response, (page < maxpage)))

fetch("https://pincong.rocks/people/info/sent_votes/uid-"+uid+"__page-"+page).then(response => parser2(response, (page < maxpage)))

page ++

}

function parser1(response, fin){

//..........append results

//finally received-votes = [{uid1:votes},{uid2:votes}.....]

}

function parser2(response, fin){

//..........append results

//finally sent-votes = [{uid1:votes},{uid2:votes}.....]

}

//搞个递归?

}

function plot(){........}

plot (sent-votes, received-votes)

  1. thphd
    thphd2047前站长

    你这样拉取数据近似于DOS攻击,被cloudflare挡住是自然

    2
  2. 邹韬奋外逃贪官CA
    邹韬奋虽然韬光养晦,亦当奋起而争(拜登永不为奴:h.2047.one)

    @thphd <#114602> 是不是加一些延时会好些?

    1
  3. 钢铁雄心(^_^)?
    钢铁雄心(钓鱼网站已屏蔽)

    @thphd <#114602> @消极 <#114610> 稍有常识的人都知道,爬虫一定要加延时

    1
  4. 邹韬奋外逃贪官CA
    邹韬奋虽然韬光养晦,亦当奋起而争(拜登永不为奴:h.2047.one)

    @品葱 <#114612> 如果我们的爬虫继续前进,那个反dos防火墙就能阻挡下来

    3