...阅读全文

前言经常用mysql，发现居然从来不知道mysql的表大小。
方法一information_schema 数据库information_schema存放了不少有用的信息。
mysql> use information_schemaReading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ATABLES表这次主要关注TABLES表。
mysql> show tables;+---------------------------------------+| Tables_in_information_schema          |+---------------------------------------+| SCHEMATA                              || SCHEMA_PRIVILEGES                     || .........阅读全文

0x00 前言一千多块钱买的asus c200的chromebook，一千多块钱从美亚寄过来的，大概花了一个月的时间。
本来想把chrome os完全格了重新搞一个kali玩玩，但是u盘启动比较麻烦，还要刷bios，暂时放弃，继续用crouton来装，其实用着挺爽的，少了很多麻烦，而且在kali里面基本上什么功能都能用。
由于16G的硬盘太小，因此重新买了64的sd卡，格式化一下操作系统（挺方便，在设置里面一键搞定），重新装一下kali。
0x01 开发者模式网上教程很多，不再重复。
0x02 croutongithub项目的主页，下载一个crouton即可。
https://github.com/dnschneid/croutoncrouton用法主要会使用下面的四个参数
$ sh ~/Downloads/crouton-r RELEASE  Name of the distribution release. Default: precise,or auto-detected if upgrading a chroot and -n is specified.Specif...阅读全文

前言背景今天被妹子问到一个问题，往mysql中导入1000W条数据，哪种方式比较快，我居然被问到了，说实话我还真心不知道。
那就找数据呗，搞数据研发的好处就是，数据肯定是很多的，正好还有测试集群。开始在线上找数据。
由于我们很多mysql的表会通过sqoop抽到hdfs中，所有就直接在hdfs中把数据提出来了，不给线上mysql什么压力了。
对比实验现在使用两种方式分别往mysql数据库中插入数据。
一种是load data的形式，一种使用sqoop从hdfs中抽。...阅读全文

前言前段时间，imppala资源告警，各种任务失败，查询堵塞，因此公司集群升级。
这次迁移的确必须，因为当时的集群规模很小，资源太紧张了。
迁移集群后，今天集群再次出问题，导致一个下午没什么事都没干，查了一下午的错误。
事件发展1.阶段一：下午2点17分数据组反映集群崩溃，HUE界面不能登录，登录之后刷不出来表，当然也不能提交数据。
查看各种log日志、任务信息，发现事件发生前后有两个现象：
有一个admin用户每隔一分钟提交一次insert任务，一次任务的数据量主要分两个个等级：500M、900M，他们分别需要30s和1分钟左右能完成操作。该用户每隔几次操作，会执行一次 invalidate metadata操作数据分析的小伙伴提交了很多个重复的任务，比如select *from tablename limit 100,而且有几个我很佩服的十多行的sql（目前我是写不出来）。具体的情况就是，数据分析组的三个人同时对一张表执行各种不同复杂程度的select查询，因为反映慢了点，所以反复提交了很多次，包括hue和shell端。初步分析1： 大量任务 + 反复提交复杂查询。单个原...阅读全文