在职时间: 2016-02-29 ~ 2018-06-22
在2015年底的时候,身边的HR小姐姐告知广州阿里(UC)有招聘,带着去试试的心态去了(完全没去准备笔试、面试,想想就多对不起自己啊!~)
在2016年2月29日,正式加入到阿里移动事业群-基础服务部-研发效能组(30人内、外包占比20%)
,P5研发(达不到P6要求,非P6都签外包;外包就外包体验大公司研发流程,当镀个金,或许有转正的名额)
在职时间: 2016-02-29 ~ 2018-06-22
在2015年底的时候,身边的HR小姐姐告知广州阿里(UC)有招聘,带着去试试的心态去了(完全没去准备笔试、面试,想想就多对不起自己啊!~)
在2016年2月29日,正式加入到阿里移动事业群-基础服务部-研发效能组(30人内、外包占比20%)
,P5研发(达不到P6要求,非P6都签外包;外包就外包体验大公司研发流程,当镀个金,或许有转正的名额)
http://projects.spring.io/spring-data/
http://projects.spring.io/spring-hadoop/
https://github.com/ityouknow/spring-data-jpa-reference-documentation
https://docs.spring.io/spring-data/jpa/docs/current/reference/html/
https://springcloud.cc/spring-cloud-dalston.html#spring-cloud-feign
要做一件事, 需要知道三个要素,where, what, how。即在哪里( where)用什么办法(how)做什么(what)。什么时候做(when)我们纳入how的范畴。
1)编程式实现: 每一个要素(where,what,how)都需要用具体代码实现来表示。传统的方式一般都是编程式实现,业务开发者需要关心每一处逻辑
2)声明式实现: 只需要声明在哪里(where )做什么(what),而无需关心如何实现(how)。Spring的AOP就是一种声明式实现,比如网站检查是否登录,开发页面逻辑的时候,只需要通过AOP配置声明加载页面(where)需要做检查用户是否登录(what),而无需关心如何检查用户是否登录(how)。如何检查这个逻辑由AOP机制去实现, 而AOP的登录检查实现机制与正在开发页面的逻辑本身是无关的。
https://www.zhihu.com/question/21895282
编程式实现
需要以具体代码表达在哪里(where)做什么(what),如何实现(how)
声明式实现
只需要声明在哪里(where )做什么(what),而无需关心如何实现(how)
知乎-备孕
[APP-妈妈网孕育]
[Book-只有医生知道]
http://spark.apache.org/sql
http://spark.apache.org/docs/latest/api/python/pyspark.sql.html
Application
基于Spark的用户程序,包含了driver程序和集群上的executor
Driver Program
运行main函数并且新建SparkContext的程序
Cluster Manager
在集群上获取资源的外部服务(例如standalone, Mesos, Yarn)
Worker Node
集群中任何可以运行应用代码的节点
Executor
是在一个worker node上为某应用启动的一个进程,该进程负责运行任务,并且负责将数据存在内存或者磁盘上。每个应用都有各自独立的executors
Task
被送到某个executor上的工作单元
Job
包含很多任务的并行计算,可以看做和Spark的action对应
Stage
一个Job会被拆分很多组任务,每组任务被称为Stage(就像MapReduce分map任务和reduce任务一样)