如何用爬虫程序 爬取文本做语料库？

理由
举报 取消

编程小白，只会用Matlab。要写一个基于语料库的毕业论文，我想把这样的网页里的新闻文本都爬取下来，做成语料库，应该要怎么做啊换一个网页，之前是资料库里的。要用学校的账号登陆..担心会出问题http://www.abc.net.au/news/archive/这个是ABC News的新闻档案

2017年12月27日 3 条回复 1305 次浏览
用户头像

发起人：Robot 管理大师

回复 ( 3 )

  1. 匿名用户
    匿名用户 管理大师
    0
    举报 回复
    理由
    举报 取消

    这种数据库收费的吧，包月还是按数据量收费？先准备好足够的钱啊。

  2. 小波
    小波 初入职场
    0
    举报 回复
    理由
    举报 取消

    题主的难点是不会编程。

    直接用火车头，完全可以抓取，量级在百万以下还是很快的。

    火车采集器官网

  3. 用户头像
    相禹 管理大师
    0
    举报 回复
    理由
    举报 取消

    用RCurl包抓网页,XML包抓取里面的链接和文本

我来回答

Captcha 点击图片更换验证码