-
【大风哥】听阿里大数据专家讲大实话:没有大数据专家,只有满身伤痕的践行者
关键字: 阿里巴巴人工智能大数据大数据专家阿里阿里大数据淘宝阿里云数据这一夜可不容易,实现并未搭建方便查询数据的架构。丰兄先写了拖数据的脚本,再用几十条SQL语句从oracle数据库里查询,第二天早上终于把报表发给马云了。马云说小伙子干的不错,以后你就是技术总监了。(笔者对以上信息真实性不负责任)
然后马云又下达了一项任务命令:
然而实在是撑不下去了。到2008年,淘宝的业务量与数据量已达到2004年的数千倍,按照这样的趋势,底层技术架构亟需升级。oracle数据库根本撑不住这样庞大的数据量,存储成本也会让阿里入不敷出。存数据很烧钱啊!
这一年,阿里决定成立阿里云,从底层重构云计算及大数据技术。同时,为了实现自主可控,阿里金融成立。它意义在于整个管理层从中真正看到了未来数据公司的雏形。
2009年阿里开始描画大数据平台愿景。当时马云在王坚博士提醒下提出这个想法,大家还不太理解。
后来他们理解了,就做出了这张ppt:
建大数据平台有哪些困难?
没有统一组织和架构,一个人晚上熬夜研究数据,早上回去了,接班的没法看懂他的逻辑,要等他来了才能解释清楚,人称补数小王子。其他问题看上图,大风哥难得拍了张能看清楚的图……
上图里面的每一步都需要专业人员,比如“数据清洗”就需要专门研究这个的工程师。尤其要把不同格式的数据统一起来就废老鼻子劲了。
做阿里金融才暴露出更深层次问题。比如历史数据不足,这就相当于生产资料缺失。过去,淘宝存储数据有限,比如系统对买家交易状态只记录最新的,没人意识到那些丢失数据的珍贵。后来他们就记录全部了。
2012年成立数据平台部,开始实施“登月计划”,听这名字好大雄心!
- 原标题:听阿里牛人说大实话:没有大数据专家,只有满身伤痕的践行者 本文仅代表作者个人观点。
- 请支持独立网站,转发请注明本文链接:
- 责任编辑:钟晓雯
-
比美国算法快14%!中国超大电力系统有“解”了 评论 34
美记者:在中国农村,我看到震撼一幕 评论 89
欧盟计划“流产”,俄罗斯:理智占了上风 评论 76
“逼迫西方下跪的,并非中俄” 评论 123
特朗普要封锁委内瑞拉,有人操心台湾:美国没底气了 评论 130最新闻 Hot-
比美国算法快14%!中国超大电力系统有“解”了
-
中国不惜命,打仗不会用无人机?美“专家”大翻车
-
核聚变成新风口,特朗普家族的眼睛又亮了
-
美记者:在中国农村,我看到震撼一幕
-
打持久战?“我们打不起”
-
突发!台北发生随机伤人事件:行凶者跳楼身亡,更多细节曝光
-
“一战再战”,《阿凡达3》还值不值得看?
-
又打压!特朗普签了,中方严厉表态
-
欧盟计划“流产”,俄罗斯:理智占了上风
-
坐不住了?马克龙:实在不行,还得和普京谈
-
“MIT教授遭枪杀与布朗大学枪击案有关”
-
“逼迫西方下跪的,并非中俄”
-
10月份海外美债持仓回落,中国持仓量降至2008年来最低
-
密集游说后,特朗普签了!大麻和泰诺同类
-
中邮保险举牌四川路桥,年内举牌四次
-
“别老哀叹没改变中国,美国先抄作业吧”
-

观察员
上海市互联网违法与不良信息举报中心