今天看到一则新闻:被公安部门带走的刘某是证监会发行部处长刘书帆;欧阳某为证监会处罚委主任欧阳健生;徐某为中信证券董事总经理徐刚。那么,一般投资公司的经营层面的一把手就是总经理,怎么还会有一个叫“”董事总经理“的提法,这两者有什么区别吗?谢谢
查看全文被垃圾代码伤到是什么感觉?
我先说一个:二三十万行数据,共几十M的数据量,愣是用10来个hadoop任务(10多个文件)来实现,也是醉了~~~~~
查看全文如何评价2016年3月底这次淘宝首页的改版?
今天打开淘宝网,弹出了新的各种提示,明显淘宝做出了改版,该如何评价这次的改版?淘宝改版 首页10年视觉设计之变
查看全文C/C++ 是否存在大数据生态圈,为什么?
现在一提起大数据,基本就等同于 Hadoop / Spark / Storm 等一系列 JVM 体系下的开源架构;而如果说要用 C/C++ 的话,基本就是还在造轮子的阶段,差距十分悬殊。是不是有一天也会像 Nginx 的诞生一样,在 Apache 如日中天的时候,有一个神秘的 C 高手团队造就了 Nginx 现在的地位。个人的臆想是,在 Linux 文件系统上再用 C 做一个文件管理层(据我了解阿里云和百度已经是这样干的),分布式通信可以借鉴 Thrift 这样的 RPC 框架,shell 层可以考虑使用 C++ / Python等相对敏捷的语言来实现,还有 MySQL、Redis 这样的亲戚可以一并拉入来实现部分文件索引工作。计算 […]
查看全文如何顶层设计一套Hadoop平台架构?
根据功能需求,估计ambari、phoenix、pig、zookeeper、hive、hbase、sqoop、spark都要用上,就应该如何分配组件,计算所需的服务器资源?比如几台服务器装什么处理什么功能之类的,以及估算可能的性能瓶颈?历史数据10个T的样子,每天的新增数据量1G以内,实时统计要求不高,现在数据来源有9个,数据类型相近,基本上都是用Oracle,加上各种应用分布在100多台低端服务器(主要是8G/16G内存这个级别),可增加一批较高配置服务器,现有服务器分布比较远和散(所以虽然属于一个局域网,但网速不算特别好)
查看全文