题主是个web程序员，最近想转去做数据分析，先练习的爬虫（python），各种爬取技巧以及多网站爬取等已经掌握，但发现转方向最无奈的是方向（要抓什么数据来干什么）比较迷茫，希望有前辈给予指导，哪些网站的数据抓取下来能获得有分析价值的数据，或者前辈的经验。

金融证券领域，有海量的历史数据，和实时数据分析

现在的数据挖掘和分析建模主要就是用逻辑回归之类的处理分类问题，一些非结构化数据用到DL来构造特征可能会比较好。但是貌似处理构造特征，深度学习在数据挖掘领域还有什么可以做的？如何对构造用户画像和推荐系统有什么帮助？

本人是非211的普通本科的一名大三狗，通过python对数据挖掘感兴趣，前两天购买了《集体编程智慧》等入门书，感觉挺感兴趣的，以下是我的基本信息，求大牛指导未来两年进公司的话该朝哪个方面努力，平常应该注意点啥才能拿到offer。1.对python基础语法还算比较熟悉，因为项目需要，爬过几次数据。会flask和scrapy.2.JAVA有一定基础，参加过比赛，拿过小奖。3.不准备考研，政治奇差，英语一般。4.数学基础还行，一般的水平。

offer求比较：本人北京小硕，技术一般，绝非炫耀，offer不多，勉强通过；百度：运维部下的大数据组，对大数据平台运行时产生的数据再用hadoop存取，分析等，技术和产品端技术类似，但是分析对象是hadoop集群平台，总之是为运维策略服务吧；在运维部下，待遇批发价美团：外卖后端的机器学习方向做排序等算法，待遇比百度年薪高1万京东：广告也是机器学习方向，待遇与美团差不多去哪儿：具体部门不定，也是数据方向，待遇比美团京东高1万总之：每个公司待遇差不多，这个不作为参考重点；长远来看选择那个对将来最好？比如出来后那个平台更好找工作谢谢各位！

通过八兆于数据采集器或者火车头数据采集器从网站列表上抓取各行各业厂家的，邮件地址之后，然后群发的针对性的邮件这也属于初步的邮件营销一点不营销了。促成交易拿提成，请问这样的方式应该在哪个行业最好？才能够每个月拿2万块钱，养活一家子人？

音乐-行业关键词采集前需要登录，才可以采集更多，采集关键词 还有他的相关关键词（点击关键词才可以看到相关关键词）采集四页面

我们在机器学习的案例中经常会陷入一种情况，即数据量不足，或者在维度过高的情况下，数据量相对不足。如果是维度过高造成的数据量不足（维度灾难），我们可以用降维的方式来“缓解压力”，但是在某些情况下，即使降维之后，我们依然没有足够的数据。比如一次调查中，我们只获得了几千份样本，那么，在数据量已经固定且很少的情况下，我们可以用什么方法，或者哪种模型来取得更好的预测性能？为什么？