数据研发工作阶段性总结:(2015-12-21 至 2016-08-04)
前言中午在看书,看着看着就不自觉地想起来自己从入职至今的工作情况了。
在工作的过程中,有过对工作性质的质疑、对自己能力的不自信、对前景的担忧,想想还是挺好玩的。趁着脑子比较飘忽,总结一下工作的情况吧。
总结的角度主要站在集群管理员的角度。
工作2015年12月21日,我以校招生的身份入职,先有共三个月试用(+实习)期。工作的初期定位是研发,负责小组的部分内部系统开发,以数据流的处理为主。
集群迁移:前两周的时间熟悉环境。熟悉过后,赶上大数据集群迁移,由于之前自身对类似集群运维的工作比较熟悉,因此临时参与到数据集群迁移的工作。半个多月的时间中,进行了新集群的搭建、数据迁移和业务迁移。迁移过程主要由python来主导,我来辅助。集群迁移的感受就是要细心、细心、再细心,然后再加一点耐心。因为集群规模不大而且是机房内部迁移,不存在太多的技术问题。需要注意的就是目录权限、业务平滑迁移、新老集群数据每日同步等细节。由于迁移的过程对其它同事来说算是无感迁移,因此大家还是很高兴的,至少不用自己动业务了。
Impala:集群迁移完成后,有一小段时间,负责了部分的业务开发内容,主要是提供数据源相...阅读全文
在工作的过程中,有过对工作性质的质疑、对自己能力的不自信、对前景的担忧,想想还是挺好玩的。趁着脑子比较飘忽,总结一下工作的情况吧。
总结的角度主要站在集群管理员的角度。
工作2015年12月21日,我以校招生的身份入职,先有共三个月试用(+实习)期。工作的初期定位是研发,负责小组的部分内部系统开发,以数据流的处理为主。
集群迁移:前两周的时间熟悉环境。熟悉过后,赶上大数据集群迁移,由于之前自身对类似集群运维的工作比较熟悉,因此临时参与到数据集群迁移的工作。半个多月的时间中,进行了新集群的搭建、数据迁移和业务迁移。迁移过程主要由python来主导,我来辅助。集群迁移的感受就是要细心、细心、再细心,然后再加一点耐心。因为集群规模不大而且是机房内部迁移,不存在太多的技术问题。需要注意的就是目录权限、业务平滑迁移、新老集群数据每日同步等细节。由于迁移的过程对其它同事来说算是无感迁移,因此大家还是很高兴的,至少不用自己动业务了。
Impala:集群迁移完成后,有一小段时间,负责了部分的业务开发内容,主要是提供数据源相...阅读全文