-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA256 @star800 你的计算是错误的。按现在一般的机器学习的算法,每个人最多就是数据库中一个长度为几百的向量,不需要也不应该存储每个人发布的所有信息,否则无法做匹配。
既然要用来,那就只需统计实名制的场合发表的信息,比如微博和QQ,那么最多10亿记录,不需要看你的3个马甲。设向量维度为300,用32位浮点数(4字节),那么只需要1200GB,算上各种别的附加信息,最多2000GB。淘宝买个硬盘就好了,几百块钱,方便下发到各个单位。做这种数据挖掘,NLP模型本身有一定复杂度(但不需要复杂到2个GTX 1080无法在合理时间内处理),要能够分布式处理,要能on the fly地续调整向量,还要考虑以后模型升级后原先的数据如何处理。
最后要设法部署到各个大的互联网企业,虽需要一定成本,但是比起现在的人工审查,简直微不足道,以国家安全的名义,这是非常正当的。统筹协调这些互联网企业是困难的事情,可以钦定一个企业来专门做这个事情,制定统一接口和规范,和这些互联网企业合作,而且是很好的腐败机会。
这里只讨论了统计文字中的特征,如关键词,语气词等,实际上人在网上发布的信息还有非常多其他的特征,比如发布信息的时间、频率等。都可以作为很好的机器学习材料。 @Ciao 技术上有一定难度,但不是不可能(如果用完全错误的算法,当然是不可能的)。希望以上论证不要成为什么操作指南。 -----BEGIN PGP SIGNATURE-----
iI4EARYIADYWIQRIxvuhrHBrbISlkKFYHqZmdi3SkQUCWwgvaBgcbG92ZWZvcm11 bGFAMjA0OWJicy54eXoACgkQWB6mZnYt0pFjfQD/ebdTQe8gZsiCIIyBIdG2soxW ojeVgJs5jxc6Ny5y5TYBAK2/NeULfkVZaRm004vGW3IL8fAL32LIc4RM8hdtSQoI =xtI6 -----END PGP SIGNATURE-----