做了几年JAVA了,前端后端都做过些项目,最近公司准备上马一个大数据项目,让我来负责,一方面因为我对大数据正好有兴趣,一直找不到机会学习(没有动力啊~),这次机会算是撞上了。
但另一方面,其实我的大数据经验只是在虚拟机/aws和openstack上搭建word count的水平上,基本算是0基础起步。虽然我自信JAVA基础还行,但在自学大数据途中我发现,大数据实在太庞大了,各个组件够你吃一壶了:hadoop、spark、Kafka、storm、flume、flink等,而且网上的素材往往呈碎片化,偏向理论,没有太多实操空间,走了很多弯路。
不过在这次学习过程中,我也有些感想,想分享给大家。
首先,怎么判断一个技术是不是值得学:
以往我在学习一种新技术的时候,往往会先花5分钟去了解这个技术是大致干什么的,然后花30分钟去读下文档了解下应用场景,最后花2个小时做个demo,这就足够了。
如果这个技术后期在工作中用到,那么再捡起来不难,如果技术被革新了那之前花费的沉没成本也不高。从市场环境看,大数据明显属于前者,大数据和人工智能都是最近比较火的职业,岗位工资溢价也比较多,****薪酬在40万~60万元之间。
image
30岁是一个十分繁忙的年龄,特别是在职期间给自己充电。但根据我的经验,由java语言转向大数据比想象中要简单,目前流行的大数据Hadoop框架,很多部分都是用开源的Java语言编写,一般掌握了Javase就可以比较容易入门大数据。
确定好后目标,下面是怎么开始学?
对于JAVA开发来说,跨行学习大数据,是由纯技术到数据科学领域的跨界,需要从思维层次彻底转变,这方面真正的大师太少了。
在我的经历中,我最崇拜的只有这一位——他做了6年JAVA后台开发,期间通过岗位的便利开始接触大数据,第7年跳槽进了阿里大数据岗位,并在2年内迅速成长为大数据专家,后来陆续在乐视/IDC等互联网企业工作,在技术上甩了同龄人一条街。如今他在一家AI企业担任CTO职位,年薪百万级别。
在的时候开始做一系列大数据的分享,也带过了不少大数据新人。我有幸也听过几次分享,受到很多启发。有人奇怪这种大佬为啥要讲课?用Tant的话说:做分享的过程是一个教学相长的过程,他想在往上探一探,大数据的天花板有多高。
我今天要和大家推荐的就是Tant举办的这个12天的大数据特训营,也是Tant首次公开出的,本来1299元,我和Tant商量了一下,给团长的粉丝争取了100份免费名额。抢位置的可以先下手了,直接和Tant老师的助教(wei:BT474849)领取
这个特训营除了Tant之外,还有三位前辈花费了整整30天的时间一同参与授课。包括:芒果TV的数据仓库架构师Dico(领导核心团队),的大数据老手Brave(华为认证的大数据专家),阿里的算法大牛Chris老师(某上市游戏算法团队一把手被挖到阿里),平均资历超过,都是在智能数据领域核心岗位的大牛。
这四位老师他们本身处在一线大厂,本身也是负责人员聘用和管理的,无论对大数据的技术与市场人才需求都十分了解。平时难以见到的大佬,这次在本次训练营都会亲自指导与(代码)示范,他们的一次分享,胜过你盲目自学10天。
你能学到什么?
很多学员手里其实握着几百G 的资料却无从下手,特别是初学者,本身环境搭建都不会,很多教程上来就是一套代码实操,缺少在基础层面与框架上的认识。甚至本身出这些课件的人自己都没有大型项目的实战经验,采用的技术老旧,难以对接企业环境,其实是误人子弟的。
Tant老师的《12天零基础大数据特训营》,综合了市场上最新的技术,去粗取精,只教干货,以录播与直播结合的形式,让广大在职学习者能合理安排时间,最大限度地去主动汲取知识。
我们能够为你解决的问题:
知识不系统 ➜ 完整的从入门到实战
时间忙跟不上➜ 录播直播结合,自由安排
学习难度大 ➜ 导师1V1解答,由浅入深
容易半途而废➜ 助教跟班,保证学习进度
学习没有规划➜ 打卡学习,完成任务
为了让基础差的同学能快速搭建集群环境,资料中准备了详细的集群搭建教程、需要的安装包和镜像文件的下载地址,初学者由浅入深学习起来毫无压力。
这个课程以Linux安装与语法的开始,然后由Hadoop入门,再到Spark/Spark ML,以及时下最热的Flink,最后是电商大数据推荐系统,整个课程由基础到实战,基本囊括了大数据开发工程师工作与面试需要的技能模块。下面给大家看看流程。
12天****零基础****大数据特训营
课程目录
第一章 Linux 7月27日
知识点:Linux简介 Linux安装 Linux常见命令 Linux用户账号管理 Linux常见操作 Linux操作快捷键(彩蛋)【录播】
第二章 Hadoop生态系统 7月28日
知识点:Hadoop简介 Hadoop生态系统 Hadoop主要模块 Hadoop环境搭建 core-site.xml核心配置 hdfs mapred yarn【录播】
☞直播课: 《大数据Hadoop进阶与实战》 7月31日 20:30**
精讲内容:Hadoop MapReduce HDFS Yarn
第三章 Spark入门到实战 8月1日
掌握知识点****:Spark框架 基本模块 Scala spark集群规划、操作 Spark RDD编程入门【录播】
☞直播课 :《架构师:****Spark入门修炼之术》 8月3日 20:30
精讲内容:大数据学习路线 SparkRDD实战 SparkSQL实战 Spark Streaming实战 10亿交通大数据项目演示
**第四章 Flink **8月4日****
知识点:Flink 简介 基本概念 应用场景 Flink架构、API 编程模型 Flink的优点和缺点 FlinkVS Storm VS Spark Streaming Storm到Flink的迁移经验总结【录播】
第五章 Spark机器学习算法 8月4日
知识点:Spark mllib简介、应用定位、模块功能、算法类型 Spark mllib常见数据处理方法 Spark mllib 操作流模块【录播】
☞直播课:****《阿里算法:大数据推荐系统构建方法解析》8月7日 20:30
精讲内容:推荐系统概述 推荐系统与算法 推荐系统数据架构及技术选型 推荐系统常见问题。
▼完整大纲,请下滑浏览
《12天零基础大数据特训营》
一、linux
Linux来源与发展状况国内主要Linux发行版Linux基础操作命令Linux用户账号管理Linux用户组管理Linux sudo权限概要Linux常用文件命令Linux常用目录命令Linux文本文件操作Linux文本文件操作Linux远程操作(SSH,SCP)
12. 彩蛋:便捷快速的Linux操作快捷键
二、Hadoop初识
Hadoop简介Hadoop生态系统Hadoop主要模块Hadoop环境搭建core-site.xml核心配置hdfs-site.xml核心配置mapred-site.xml核心配置yarn-site.xml核心配置
三、Hadoop实战与进阶
Hadoop开发环境搭建
22. HelloWord:Words Count APP 实战
23. Hadoop之美(一):MapReduce的分而治之策略
24. Hadoop之美(二):HDFS的多副本与高可用
25. Hadoop之美(三):Yarn的调度之美
四、spark初识
Spark简介Spark框架、基本模块,各个模块之间的关系Scala之于SparkSpark VSHadoopSpark 集群规划 、安装、启动从Spark—shell 学习Spark学习SparkSpark RDD简介Spark RDD编程入门
五、Spark实战
再论学习大数据的方方面面SparkRDD实战SparkSQL实战Spark Streaming实战交通大数据项目演示
六、Flink
Flink 简介、基本概念、应用场景Flink架构、API、编程模型Flink的优点和缺点Flink VS Storm VS Spark StreamingStorm到Flink的迁移经验总结
七、spark机器学习算法
Spark mllib简介Spark mllib 应用定位Spark mllib 模块功能Spark mllib 算法类型Spark mllib 的数据处理Spark mllib 操作流模块
八、综合项目实战—大数据推荐系统构建方法浅析
推荐系统概述推荐系统与算法推荐系统数据架构及技术选型推荐系统常见问题
(错过直播课的童鞋可以找助教领取录播回放)
添加助教(weix:BT474849)回复“12天大数据”无套路领取资格