吐槽下公司管理对hadoop想法?不是做技术的哟?是做管理!!!!

开源中国首席撸管冠军 发布于 2015/04/28 17:08
阅读 6K+
收藏 0

    在我一个月前。接收到了上级的指示:你去学习hadoop吧,公司现在数据量有点大,报表跑不动,准备用hadoop去解决大数据问题。当时我尼玛就惊呆了啊!高大上的赶脚啊。

    一个星期过去了,晚上在公司看视频。白天看各种论坛啊。先开始在自己这个只有I-5处理器内存3.17的机器上搭建伪分布式啊,装好了各种东西(hive,Hbase,sqoop,mysql元数据存储,)这就开始玩起来。感觉发现伪分布式玩起来不顺畅啊。

    第二个星期。在自己电脑上布置了三台虚拟机,卡成翔一样每天上班。开始继续玩这个。hadoop总算是弄明白了一点,数据可以导入进HDFS。然后可以用HIVE去分析,而且这个比较简单HQL嘛。

    第三个星期。我跟上司说我电脑好卡能搞几台不用的电脑我测试下,亿级数据在几个节点上跑的数据快不快呢?于是很鄙视的眼神看着我,你现在什么都没搞出来怎么好意思申请机器呢?

    第四个星期。前面有四个PC机,于是我就架起来玩了。每天来的第一件事就是快点开启这四台机器。因为公司电脑有的是动态IP,我在上面搭建的虚拟机是固定IP。有时候我重启虚拟机IP就被占用了。又要去改配置文件。就这样把1亿数据导进去,然后测试性能虽然有点慢。但是跟oracle查询也差不多。如果是加多点机器应该没问题吧。噩梦即将来临~~~~~

    第五个星期。就是昨天!公司一个股东,说是一直在美国对公司提供市场。其实他根本不是做技术的,是组管理的。管理我们公司绩效考核。他自己说:在美国我们那家公司也在用hadoop。我来跟你们讲讲吧。整个会议二小时过去了。完全听不懂他在讲什么。难道是我看的hadoop跟他的不一样吗?我就知道mapreduce几个函数对我有用。其余他的意思就是这样的我算是明白了(只要结果不要过程,按照我的架构去走!不准使用你自己的)

    总结:架构就是这样的,现在我们的是java写的接口呀存进oracle数据库,存储过程定时去分析的很慢。那个管理(XXOO干!)说你把java接口直接写进HDFS不存在数据库(网上大部分写入HDFS都是文件上传,sqoop导入。,或者就是MR读取数据库。),然后写一个个mapreduce去分析他,然后output出来就是报表了。我靠!尼玛说的好简单似的!会议结束了 上司说,嗯就这样做。以前那种还要数据库!这样就不依赖oracle了。当时我就无语了,下班直接走人回家睡觉了!今天早上来问我你任务是什么?我说不知道呀?我不知道我该怎么去做了。~~~~~~~然后我就打一天酱油在这写写我的经历。有好的意见或者想法或者要喷我的请敲击你的键盘。

加载中
1
g
george_eliot
二把刀遇上半吊子,悲剧....
开源中国首席撸管冠军
开源中国首席撸管冠军
好形象。。。
1
南湖船老大
南湖船老大
靠你一个人玩大数据,你也是够惨的。
开源中国首席撸管冠军
开源中国首席撸管冠军
我提过几次 招一个懂的人 带下我们。也没看见动静呀 - -难道程序猿真的是万能的嘛。。。
1
DC梦幻岛
DC梦幻岛
我现在的老板也经常对技术人员说,“这很简单的啦!”太让人无语了。
0
OSC首席键客
OSC首席键客
我都不知道你说的是什么!
开源中国首席撸管冠军
开源中国首席撸管冠军
哈哈 。我说的狠深奥。你不懂不怪你。。
0
干爷爷
干爷爷
我也不知道你在说什么?
开源中国首席撸管冠军
开源中国首席撸管冠军
额 我写的不是中文。我语文老师 是体育老师教的 0.0
0
方棱
方棱
挺有价值的经历,好好做呀。 吐槽这种无价值的事情少做。
0
x
xxxholic
想起了上个公司的项目经理,经常说的一句话“这不是很简单吗?就是把数据存进数据库,再按这个格式取出来”
开源中国首席撸管冠军
开源中国首席撸管冠军
嘿嘿 。难道大数据人很难招嘛?公司说,现在做这个人不多不好招!!!我心里想的是直接给不起工资就完了嘛!
0
jingdor
jingdor
我就想对说简单的 人说 简单你妹 简单你来
wangxuxu
wangxuxu
说得好
0
程序猿pk公务猿
程序猿pk公务猿

其实就是简单的是你吧问题想复杂了. 人家不是就想让系统快点吗?

这就是需求,说老实话有多少数据就说自己是大数据不是社会性质问题那有那么多大数据.

oracle足足搞定.

程序猿pk公务猿
程序猿pk公务猿
@掠水 真不算大,大数据不是说拿条数来衡量的看你日进到少T
掠水
掠水
回复 @OSC-小小侦探 : 几十亿难道不大吗。我们公司日uv几百万。hive表大的也就日几亿而已
开源中国首席撸管冠军
开源中国首席撸管冠军
对! 我几次提过。我们的数据量不大,一个oracle只有几十亿条数据。这算大数据嘛?
0
回去干活
回去干活

是对的,没啥问题.

返回顶部
顶部