根据功能需求,估计ambari、phoenix、pig、zookeeper、hive、hbase、sqoop、spark都要用上,就应该如何分配组件,计算所需的服务器资源?比如几台服务器装什么处理什么功能之类的,以及估算可能的性能瓶颈?历史数据10个T的样子,每天的新增数据量1G以内,实时统计要求不高,现在数据来源有9个,数据类型相近,基本上都是用Oracle,加上各种应用分布在100多台低端服务器(主要是8G/16G内存这个级别),可增加一批较高配置服务器,现有服务器分布比较远和散(所以虽然属于一个局域网,但网速不算特别好)
查看全文大规模图数据划分方法的资料/书籍怎么找?
发现百度这个只有笼统的,找不到详细介绍的,该搜什么或从哪些书籍可以看到关于这方面知识的?要是有异构图划分的就更好
查看全文如何计算基于特征的相似度?
假设电商网站用户有若干特征,每个特征对应一个分布,比如类别:得到向量(0.2,0.4…)表示该用户0.2的概率购买生活用品,0.4的概率是数码产品…, 按价格段分(0.4,0.3…)表示0-300的购买概率是0.4, 300-500的概率是0.3…如何计算不同用户的相似度?一种简单的方法是基于逻辑回归构造不同的特征的权重,按特征分别计算相似度,再加权。请教大家 还有什么其余的方法吗
查看全文按道理说黄金价格是越低越对美帝好,金价又涨起来了说明了什么问题?
看《货币战争》总结出来美国不会让黄金暴涨的几个原因:1.美国政府不希望黄金暴涨,黄金已经威胁到了美元的世界霸主货币,原因在于黄金暴涨后导致黄金投资热情增加进而增加了银行外的流动资金,引起了银行内美元存储的降低,为了弥补较低的存款将促使美联储加息,美联储加息的一大坏处是导致外债的利息增加。2.comex手中黄金不足以致难以提供德国的回提黄金要求,一边通过抛售黄金降价,另一半暗度陈仓购买黄金来支付德国黄金。
查看全文天猫店铺的订单有没有系统可以整合在一起?
背景:公司在天猫有开了几家店铺,而且每个店铺单量不一样,导致售后分了几个小组,容易造成不同组对比各自的处理数量、而且要求规范也不是很统一,管理有些难度。求助:目前公司考虑流程化处理,想通过系统的方式来达成,想问问下大神,这边是否有可以将同一个平台的售后订单集成在一个界面之内,界面信息可以直接显示同一个平台不同店铺的售后订单情况,并可以对于售后订单直接处理。因为只相关于客服系统,关于分销、财务、商品的功能要求比较少,但是相关的客服服务的功能可以加进去。大神们有关于此类的系统可以帮忙推荐下吗?谢谢各位了。。。
查看全文PM怎么设计一套相对完善和安全的帐号系统?
现在一般网站都是使用手机号、邮箱、第三方帐号登录的方式进行帐号注册,但是在国内,邮箱使用度较低,而且安全性较低,手机号注册,未来手机号绑定冲突问题,申诉过程中私密信息难以保证申诉准确率,有哪些比较好的帐号系统设计方案?
查看全文大数据如何补充征信体系?
联网大数据等新技术的应用,提升了征信市场活力和总体水平,而技术革命对征信业务的影响非常之大,那他到底是如何补充征信体系的呢?
查看全文