-
【大风哥】听阿里大数据专家讲大实话:没有大数据专家,只有满身伤痕的践行者
关键字: 阿里巴巴人工智能大数据大数据专家阿里阿里大数据淘宝阿里云数据这一夜可不容易,实现并未搭建方便查询数据的架构。丰兄先写了拖数据的脚本,再用几十条SQL语句从oracle数据库里查询,第二天早上终于把报表发给马云了。马云说小伙子干的不错,以后你就是技术总监了。(笔者对以上信息真实性不负责任)
然后马云又下达了一项任务命令:
然而实在是撑不下去了。到2008年,淘宝的业务量与数据量已达到2004年的数千倍,按照这样的趋势,底层技术架构亟需升级。oracle数据库根本撑不住这样庞大的数据量,存储成本也会让阿里入不敷出。存数据很烧钱啊!
这一年,阿里决定成立阿里云,从底层重构云计算及大数据技术。同时,为了实现自主可控,阿里金融成立。它意义在于整个管理层从中真正看到了未来数据公司的雏形。
2009年阿里开始描画大数据平台愿景。当时马云在王坚博士提醒下提出这个想法,大家还不太理解。
后来他们理解了,就做出了这张ppt:
建大数据平台有哪些困难?
没有统一组织和架构,一个人晚上熬夜研究数据,早上回去了,接班的没法看懂他的逻辑,要等他来了才能解释清楚,人称补数小王子。其他问题看上图,大风哥难得拍了张能看清楚的图……
上图里面的每一步都需要专业人员,比如“数据清洗”就需要专门研究这个的工程师。尤其要把不同格式的数据统一起来就废老鼻子劲了。
做阿里金融才暴露出更深层次问题。比如历史数据不足,这就相当于生产资料缺失。过去,淘宝存储数据有限,比如系统对买家交易状态只记录最新的,没人意识到那些丢失数据的珍贵。后来他们就记录全部了。
2012年成立数据平台部,开始实施“登月计划”,听这名字好大雄心!
- 原标题:听阿里牛人说大实话:没有大数据专家,只有满身伤痕的践行者 本文仅代表作者个人观点。
- 请支持独立网站,转发请注明本文链接:
- 责任编辑:钟晓雯
-
他在以色列监狱中死亡,联合国官员:极度震惊 评论 246俄方通缉泽连斯基等乌军政要员,乌方回应 评论 220“哈马斯得到美方保证”?以官员威胁:不会同意 评论 113国际刑事法院忍无可忍:再威胁试试 评论 235省级督察组现场核实情况,遭故意封路阻挠 评论 136最新闻 Hot
-
“欧盟正游说中国:别‘报复’,得特别保护”
-
俄方通缉泽连斯基等乌军政要员,乌方回应
-
“没有沙以关系正常化,就没有美沙防务协议”
-
他在以色列监狱中死亡,联合国官员:极度震惊
-
“丢473个议席!40年来最差”
-
加拿大逮捕3名印度人,印度外长回应
-
国际刑事法院忍无可忍:再威胁试试
-
澳大利亚“设卡”,中国在非洲淘到“白金”
-
“半数以上AI最热门领域,中国研究领先”
-
省级督察组现场核实情况,遭故意封路阻挠
-
美国又出新规:想要补贴,电动汽车上不能有“中国制造”
-
“中俄在台海附近军演,逼着美国改计划”
-
他催拜登采取行动:保住内塔尼亚胡,不然逮捕令会落到咱们身上
-
以代表称:没料到美国精英大学里也有哈马斯
-
“内塔尼亚胡决心竞选连任”
-
香港暴徒“屠龙小队”队长:计划使用炸弹杀害港警,至少30个
-