如何从传统的基于内存的数据挖掘过渡到分布式、可处理海量数据集的挖掘

10年艰辛，集全国科研力量，使原子弹升空。又因种种历史原因，美帝依托计算机技术遥遥领先，如今下一个时代似乎是人工智能的时代？依照现在的趋势，似乎真正的人工智能又将出现在美国？那么，国家为什么不会集中全国各大高校、企业研究机构合作研究，以争取在下一个时代不被技术压制？

我知道这个问题心有点大，还请见谅。 本人上海硕士一枚，专业是应用统计，本科是数学，明年需要步入校招。一直处于迷茫彷徨状态，开学才决定自己要的是什么。了解过很多职业相关乱七八糟的东西。对自己的信心不是很足。 在开学到现在两个月的时间里，我自学了R和PYTHON，和数据挖掘类的常用算法（用PYTHON实现过一些简单的）。再除了一些统计学相关的知识，也就是说我几乎没有与这个岗位相关的东西。再接下来的时间内，打算参加KAGGLE竞赛，找实习，继续补上一些大坑，如： HADOOP,JAVA,SPARK，SQL……我想问的是： 1，我距离这个岗位差距有多大，我还需要补上哪些东西?有没好的学习路径？ 2，心更大一点，我离BAT这种大企业的要求还差 […]

看了很多关于svm的原理都是描述分类问题的，关于如何选择最优分类面，而分类和回归本质都一样，但我就是无法很好的从svm的分类原理联想到回归原理，希望有大神能说说

google遍了。。还是没太看懂。请教下。

早上某机器学习博士发了一条有关中医的微博，底下很多人的评论都是全面否定中医的。题主最近才接触机器学习，理解不深，但总觉得机器学习和中医也没什么区别，毕竟训练分类提取关系最后再应用，也没什么严谨的证明某些类与某些现象一定有着紧密的联系，全都是看着数据说话。感觉中医也是一样的，或许某些药材疗效就是很好，医好过很多人，但是却不被西医认可。所以总得来说，我觉得大数据时代的各种应用和中医的凭经验治病是差不太多的，为什么很多人身处在大数据时代但是却又否定中医呢？明明是很相近的两个东西，为什么要追捧其中一个同时又贬低另一个呢？感觉很矛盾的样子。=========9.17===========看了大家得讨论，森森地感觉自己很无知以及思维还不够严谨。 […]

http://tech.sina.com.cn/i/2016-01-08/doc-ifxnkkuv4215559.shtml

在C4.5中，对连续属性的处理如下： 1. 对特征的取值进行升序排序 2. 两个特征取值之间的中点作为可能的分裂点，将数据集分成两部分，计算每个可能的分裂点的信息增益（InforGain）。优化算法就是只计算分类属性发生改变的那些特征取值。 3. 选择修正后信息增益(InforGain)最大的分裂点作为该特征的最佳分裂点 4. 计算最佳分裂点的信息增益率（Gain Ratio）作为特征的Gain Ratio。注意，此处需对最佳分裂点的信息增益进行修正：减去log2(N-1)/|D|（N是连续特征的可能的分裂点个数，D是训练数据数目，此修正的原因在于：当离散属性和连续属性并存时，C4.5算法倾向于选择连续特征做最佳树分裂点） 我想问的 […]