-
【大风哥】听阿里大数据专家讲大实话:没有大数据专家,只有满身伤痕的践行者
关键字: 阿里巴巴人工智能大数据大数据专家阿里阿里大数据淘宝阿里云数据这一夜可不容易,实现并未搭建方便查询数据的架构。丰兄先写了拖数据的脚本,再用几十条SQL语句从oracle数据库里查询,第二天早上终于把报表发给马云了。马云说小伙子干的不错,以后你就是技术总监了。(笔者对以上信息真实性不负责任)
然后马云又下达了一项任务命令:
然而实在是撑不下去了。到2008年,淘宝的业务量与数据量已达到2004年的数千倍,按照这样的趋势,底层技术架构亟需升级。oracle数据库根本撑不住这样庞大的数据量,存储成本也会让阿里入不敷出。存数据很烧钱啊!
这一年,阿里决定成立阿里云,从底层重构云计算及大数据技术。同时,为了实现自主可控,阿里金融成立。它意义在于整个管理层从中真正看到了未来数据公司的雏形。
2009年阿里开始描画大数据平台愿景。当时马云在王坚博士提醒下提出这个想法,大家还不太理解。
后来他们理解了,就做出了这张ppt:
建大数据平台有哪些困难?
没有统一组织和架构,一个人晚上熬夜研究数据,早上回去了,接班的没法看懂他的逻辑,要等他来了才能解释清楚,人称补数小王子。其他问题看上图,大风哥难得拍了张能看清楚的图……
上图里面的每一步都需要专业人员,比如“数据清洗”就需要专门研究这个的工程师。尤其要把不同格式的数据统一起来就废老鼻子劲了。
做阿里金融才暴露出更深层次问题。比如历史数据不足,这就相当于生产资料缺失。过去,淘宝存储数据有限,比如系统对买家交易状态只记录最新的,没人意识到那些丢失数据的珍贵。后来他们就记录全部了。
2012年成立数据平台部,开始实施“登月计划”,听这名字好大雄心!
- 原标题:听阿里牛人说大实话:没有大数据专家,只有满身伤痕的践行者 本文仅代表作者个人观点。
- 请支持独立网站,转发请注明本文链接:
- 责任编辑:钟晓雯
-
瑞士和会上,他忍不住说了实话:他们不来,无法影响俄 评论 264又一名校回应!要不要破格录取,到底听谁的? 评论 527美俄核潜艇同时现身古巴,“让人想起冷战” 评论 181“之前怎么没人去阿勒泰?没必要拍西方感兴趣的作品” 评论 100最新闻 Hot
-
瑞士和会上,他忍不住说了实话:他们不来,无法影响俄
-
“计划未来几周内访问中国”
-
173个美贸易协会致信拜登:调高对华关税,要三思啊
-
“保守党可能在英国大选中灭亡”
-
又一名校回应!要不要破格录取,到底听谁的?
-
“他下周将赴中国,预计会激烈磋商”
-
美俄核潜艇同时现身古巴,“让人想起冷战”
-
“首超美国,中国品牌卖出1340万辆”
-
“之前怎么没人去阿勒泰?没必要拍西方感兴趣的作品”
-
美媒哀叹:既软弱又专横,美国已沦为“帮派头目”
-
“美国说中国捣乱有证据吗?有就拿出来”
-
“抹黑中国疫苗,美国防部曾开展秘密行动”
-
“如果中国‘报复’,那将是噩梦”
-
又抹黑!“G7认为中国敢冒风险,是觉得西方衰落了”
-
“颠覆另一个大国太鲁莽,美国高估了影响中国的能力”
-
“在这里,国外电影人可以更多地了解中国”
-