帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

求助数据采集,简易判断方式?

1策划新网站,完全参考某站,结果新站刚上线不久,参考站就改版了,数据人员反应规则变了,数据源采集有问题2百度了N久,找不到合适数据源3求助数据采集的简易判断方法,或推荐一些入门书籍

查看全文

我用php爬了某(和谐)网站接近 17万 条的标题、图片链接等信息,请问接下来我能用这些数据做什么?

具体数据量是 169,279 条,主要信息是:标题、图片在网盘的绝对地址可以直接下载的,不知道接下来能用这些做点什么,动态语言我只会用php,想过用opencv 扩展做点图像识别什么的,请各位大神帮忙集思广益出出主意。(对,我知道你们想说什么,闲的蛋疼,哈哈,很多人这么说过我了,我不是IT专业的,只是最近比较闲,所以想研究点好玩儿的东西,无它。)—————————————–9月9日更新:感谢@数据客 给我的提示,让我能把这些零散的数据结构话并转化成一个可视化图表,分析 […]

查看全文

【求助】采集国内数据作为训练样本合法吗?

我们公司做的是辅助驾驶 因为要开拓中国市场 所以想提前来中国租车测试 如果效果不好 可能会采集一下样本(如:汽车 行人 信号灯等)回去训练我们的模型 因为公司就我一个中国人 所以打算交给我。在做之前,我想确定一下,测试和采集样本是合法的吧?要不要去某些部门申报呢?

查看全文

传统的执行公司(数据采集公司)在中国市场调研行业怎么活下去?

现在下边执行公司数据造假比比皆是,最直接原因是传统的大市场研究公司(总包方)竞争越来越激烈,导致给甲方的报价越来越低,拿到项目后再分包给下边的执行公司(承包商)采集数据(目前调研行业的数据采集99%都是外包给数据采集公司做的),可是最下边的执行公司人工成本、房租成本、材料成本,礼金礼品成本,,,所有成本年年都在涨,给到他们的报价却年年在压缩,已经要到打破临界点的状态了,所以小公司为了活下去,只能造假,造假了,伤害的是整个行业产业链,包括甲方,行业会越来越没有公信力。没有一个大的市场研究公司关注过这个问题(在中国除了零点其他的大的公司都是外资控股的国际市场研究公司),这么下去执行公司都死了,到那时,大公司全部找个代(个人代理)采集数据 […]

查看全文

智库如何采集数据呢?

国内和国外的智库机构是如何采集某个行业的数据的?就是通过问卷调查吗?有没有什么比较自动化的工具,比如网络爬虫在网络上爬取指定的数据,或者在不同的城市、企业有常设的数据采集点和数据采集员?数据采集回来通常都是用什么样的工具进行分析?主要是靠专业人士人工分析吗?

查看全文

八爪鱼采集器能取代python爬虫吗?

http://www.bazhuayu.com 题猪不会代码,想整理一个选择留学院校的数据库,方法是爬下各种不同表现形式的选校网页(需制定多套爬虫规则),不过偶然发现这个软件,还在摸索用法,有没有用过的同学说说看法?

查看全文