帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

爬到社交网络文字数据有什么用?

写了个小爬虫,爬了某社交网络数据,一晚上拿到大概500万纪录,还在爬。。。不知道这些数据有什么用。为了方便没有存关系数据,有没有必要完善一下然后把关系数据存下来(评论和评论人,点赞什么的)?谢——-来补充下,我爬的是qq空间,特别是说说的数据。这货没有速率限制,直接开80个线程放digital ocean, 单机就这速度。如果用上redis做分布式估计可以把腾讯服务器搞垮(听说是node JS的后端)最近没有看爬虫,GitHub上有人给我说好像被查了,等我申请季完了去看看。爬虫是我学C++的时候写的,所以略暴力,爬虫逻辑也挺简单的。有段时间还用Scala重构了下,写了点前端API,也不知道现在怎么样了。

查看全文