1策划新网站,完全参考某站,结果新站刚上线不久,参考站就改版了,数据人员反应规则变了,数据源采集有问题2百度了N久,找不到合适数据源3求助数据采集的简易判断方法,或推荐一些入门书籍
查看全文那些做市场分析的,那些报告都是通过什么手段拿到的?是有专门的途径方法?
比如我想要了解一下,全国有多少网吧,但是网上查不到,或者更高端一点的,比如全国青少年的消费水平,一线城市的奢侈品购买率等等!请各位大神说说自己的看法!
查看全文我用php爬了某(和谐)网站接近 17万 条的标题、图片链接等信息,请问接下来我能用这些数据做什么?
具体数据量是 169,279 条,主要信息是:标题、图片在网盘的绝对地址可以直接下载的,不知道接下来能用这些做点什么,动态语言我只会用php,想过用opencv 扩展做点图像识别什么的,请各位大神帮忙集思广益出出主意。(对,我知道你们想说什么,闲的蛋疼,哈哈,很多人这么说过我了,我不是IT专业的,只是最近比较闲,所以想研究点好玩儿的东西,无它。)—————————————–9月9日更新:感谢@数据客 给我的提示,让我能把这些零散的数据结构话并转化成一个可视化图表,分析 […]
查看全文【求助】采集国内数据作为训练样本合法吗?
我们公司做的是辅助驾驶 因为要开拓中国市场 所以想提前来中国租车测试 如果效果不好 可能会采集一下样本(如:汽车 行人 信号灯等)回去训练我们的模型 因为公司就我一个中国人 所以打算交给我。在做之前,我想确定一下,测试和采集样本是合法的吧?要不要去某些部门申报呢?
查看全文传统的执行公司(数据采集公司)在中国市场调研行业怎么活下去?
现在下边执行公司数据造假比比皆是,最直接原因是传统的大市场研究公司(总包方)竞争越来越激烈,导致给甲方的报价越来越低,拿到项目后再分包给下边的执行公司(承包商)采集数据(目前调研行业的数据采集99%都是外包给数据采集公司做的),可是最下边的执行公司人工成本、房租成本、材料成本,礼金礼品成本,,,所有成本年年都在涨,给到他们的报价却年年在压缩,已经要到打破临界点的状态了,所以小公司为了活下去,只能造假,造假了,伤害的是整个行业产业链,包括甲方,行业会越来越没有公信力。没有一个大的市场研究公司关注过这个问题(在中国除了零点其他的大的公司都是外资控股的国际市场研究公司),这么下去执行公司都死了,到那时,大公司全部找个代(个人代理)采集数据 […]
查看全文智库如何采集数据呢?
国内和国外的智库机构是如何采集某个行业的数据的?就是通过问卷调查吗?有没有什么比较自动化的工具,比如网络爬虫在网络上爬取指定的数据,或者在不同的城市、企业有常设的数据采集点和数据采集员?数据采集回来通常都是用什么样的工具进行分析?主要是靠专业人士人工分析吗?
查看全文八爪鱼采集器能取代python爬虫吗?
http://www.bazhuayu.com 题猪不会代码,想整理一个选择留学院校的数据库,方法是爬下各种不同表现形式的选校网页(需制定多套爬虫规则),不过偶然发现这个软件,还在摸索用法,有没有用过的同学说说看法?
查看全文