可以通过对招聘网站登出的不同岗位数量进行采集挖掘来判断行业趋势吗？技术上怎么做最容易实现？ 举报 理由 举报 取消 2018年2月4日 8 条回复 1168 次浏览 招聘网站,挖掘,数据挖掘,文本,爬虫,计算机网络,采集
回复 ( 8 )
写个爬虫，爬到数据再洗洗，统计分析一下，出个表，就可以骗吃骗喝了。
主要劳力在爬虫。数据洗干净点，不然噪声多到可能误导你后面的分析。
据我所知，多了解几个HR对行业趋势的了解可能更有帮助，因为很多公司的招聘职位是常年挂机的。。 那其实就是为了打广告，他们根本不招这种人。所以当你爬出东西以后，你会惊呆，怎么这公司招了个JAVA工程师 5年了 还在招。一个电话过去，他们说他们现在要.NET >,<
并不能，真正的行业趋势不会公开放在招聘网站上，放在网站上面的都是很成熟了，还叫趋势吗？
这个问题在于没有什么标注数据，就算拿出了数据，也是配合一个非常主观的解读和分析。
技术上容易实现。
1、直接去下面linkedin的网站，大的分类都已经给你弄好了。
Browse Job Titles Starting With ‘A’
2、写个爬虫，挨个收集存到数据库里。当然要定期收集，这样才能体现出趋势。
3、再对收集的数据做些简单的文本处理，比如分析关键词的频率，就可以对各个大类的工作进行细分。
4、最后做一个产品：用户输入一个关键词，你present相关的细分行业的趋势比较。
有些招聘网站的消息，是虚假的或者不真实的。我自己浏览的一个思路，是
1、把招聘信息按照关键字每天爬一次，积累一个月的数据成为历史数据库；
2、用最新的数据与历史数据比较，长期存在的直接过滤掉，只看新的。
请问数据挖掘大神们有哪些针对招聘网站上的数据进行挖掘的算法吗？
可以啊 想法还是不错的，工程实现比较废力气