发起人:贾东 初入职场

人生这游戏,不贪怎么赢

回复 ( 10 )

  1. 秋叶飘
    理由
    举报 取消

    六大采集器特色比较:

    1.火车头采集器:

    一款互联网数据取、处理、分析,挖掘软件,可以抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。

    特点:采集不限网页,不限内容;

    分布式采集系统,提高效率;

    支持PHP和C#插件扩展,方便修改处理数据。

    2.神箭手云采集:

    一款新颖的云端在线智能爬虫/采集器,基于神箭手分布式云爬虫框架,帮助用户快速获取大量规范化的网页数据,帮助客户快速轻松地获取大量规范化数据。

    特点:直接接入代理IP,无需设置便可避免因IP被限制访问导致的无法采集的问题;

    自动登录验证码识别,网站自动完成验证码输入,无需人工看管;

    可在线生成图标,采集结果以丰富表格化形式展现;

    本地化隐私保护,云端采集,可隐藏用户IP。

    3.狂人采集器:

    一套专业的网站内容采集软件,支持各类论坛的帖子和回复采集,网站和博客文章内容抓取,分论坛采集器、CMS采集器和博客采集器三类。

    特点:支持对文章内容中的文字、链接批量替换和过滤;

    可以同时向网站或论坛的多个版块一起批量发贴;

    具备采集或发帖任务完成后自动关机功能;

    4.三人行采集器:

    一套可以把别人网站、论坛、博客的图文内容轻松采集到自己的网站、论坛和博客的站长工具,包括论坛注册王、采集发帖王和采集搬家王三类软件。

    特点:以采集需要注册登陆后才能查看的论坛帖子;

    可以同时向论坛的多个版块一起批量发贴;

    支持对文章内容中的文字、链接批量替换和过滤。

    5.集搜客:

    一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素,提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

    特点: 可以抓取手机网站上的数据;

    支持抓取在指数图表上悬浮显示的数据;

    会员互助抓取,提升采集效率。

    6.八爪鱼采集器:

    一款网页采集软件,可以从不同的网站获取规范化数据,帮助客户实现数据自动化采集,编辑,规范化,从而降低成本,提高效率。

    特点:容易上手,完全可视化图形操作;

    内置可扩展的OCR接口,支持解析图片中的文字;

    采集任务自动运行,可以按照指定的周期自动采集。

  2. 极客兔子
    理由
    举报 取消

    作为同时使用八爪鱼采集器和写爬虫的非技术的莫名其妙喜欢自己琢磨技术的互联网运营喵。。。我来谈谈心得感想。

    八爪鱼有一些优势,比如学习成本低,可视化流程,快速搭建采集系统。能直接导出excel文件和导出到数据库中。降低采集成本,云采集提供10个节点,也能省事不少。

    不好的地方就是,即使看似很简单了,而且还有更傻瓜化的smart模式,但是里面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写,不过说实话心得太多,还没仔细整理。

    首先里面的循环都是xpath元素定位,如果用单纯的傻瓜化点击定位的话,很死板,大批量采集页面的时候很容易出错。另外用这个工具的,因为方便,小白太多,成天有人问普通问题,他们都不会看页面结构,也不懂xpath,很容易出现采集不全,无限翻页等问题。

    但是八爪鱼采集器的ajax加载,模拟手机页面,过滤广告,滚动至页面底端等功能堪称神器,一个勾选就能搞定。写代码很麻烦的,实现这些功能费劲。

    八爪鱼毕竟只是工具,自由度肯定完败编程。胜在方便,快速,低成本。

    八爪鱼判断语录较弱,无法进行复杂判断,也无法执行复杂逻辑。还有就是八爪鱼只有企业版才能解决验证码问题,一般版本无法接入打码平台。

    还有一点就是没有ocr功能,58同城和赶集网采集的电话号码都是图片格式,python可以用开源图像识别库解决,对接进去识别便可。

    除非对技术有很高要求,否则我觉得八爪鱼采集器很好用,比火车采集器好用,虽然效率没那么高,但是比起费劲学习和研究数据包,还是用这个省事。我没事也会在八爪鱼群里解答一些规则编制的问题。

    火车采集器解析json数据必须高级版本,真烦,八爪鱼效率低一些但是可采集范围广。但是火车采集器有58同城插件。。。

  3. 华天清
    理由
    举报 取消

    最近在研究 ,发展势头好猛,在大数据版图中逐渐开辟出网络爬虫的位置

  4. 李维亚
    理由
    举报 取消

    一直反感火车头,喜爱八爪鱼。这种情况一直保持到我学会了火车头之后。

    现在只用火车头。

    怎么说呢,火车头是最复杂,但却是功能最强大的生产力软件。狂人八爪鱼之类的适合小白,也会让你永远停留在小白的位置,出错多,功能少。

    gooseeker不了解

  5. 贺鹏
    理由
    举报 取消

    学会了火车头,你们才能知道其他两个有多么弱。

  6. 用户头像
    理由
    举报 取消

    gooseeker是我遇到最好的采集器 目前

  7. 巨鱼
    理由
    举报 取消

    火车头蛮好用的,高版本没有用过,都是用7.6的。采集规则网上有很多,可以下一个别人的采集规则自己来研究

  8. Juri
    理由
    举报 取消

    我觉得gooseeker 集搜客网络爬虫 使用起来很方便的。

  9. 1992
    理由
    举报 取消

    我觉得集搜客网络爬虫 用着挺好,方便.

  10. 阳炎
    理由
    举报 取消

    今天试了下火车头,真的好用啊

    (之前用过八爪鱼,因为都说简单,但是我连界面都看不懂==

我来回答

Captcha 点击图片更换验证码