测试用例3sql语句：dev表是另外一个表，不是parquet格式。
SELECT SUBSTR(a1.dt,1,7) dt, COUNT(DISTINCT a1.uid)FROM (SELECT userid uid , createtime dtFROM dev) a1LEFT JOIN (SELECT uid, dtFROM (SELECT userid uid, time dt FROM a_inUNION ALLSELECT uid uid, stime dt FROM ainWHERE atype='1'UNION ALLSELECT uid, time dtFROM cWHERE state!=0 AND source='test') a1 ) a2ON a1.uid = a2.uid AND SUBSTR(a1.dt,1,7)>SUBSTR(a2.dt,1,7)LEFT JOIN (SELECT uid, dtFROM (SELECT userid uid, time dt FROM inUNION ALLSELECT uid, time dt FROM cWHERE...阅读全文

验证
D:\workspace\idea\test>scalac BasicOne.scalaD:\workspace\idea\test>dir2016/03/11  19:05               924 BasicOne$.class2016/03/11  19:05               746 BasicOne.class2016/03/11  19:02               361 BasicOne.scala2016/03/11  19:05             1,022 Person.class可以看到，在一个文件中写了很多类，最后每个类都生成了一个文件。
D:\workspace\idea\test>javap -p Person.classCompiled from "BasicOne.scala"public class Person {private java.lang.String name;private final java.lang.String nick;public java.lang.String name();pu...阅读全文

snappysnappy的官方描述。
Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aims for very high speeds and reasonable compression. For instance, compared to the fastest mode of zlib, Snappy is an order of magnitude faster for most inputs, but the resulting compressed files are anywhere from 20% to 100% bigger. On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/se...阅读全文

前言一道sql练习题，在hive上跑的，用到了hive的一些窗函数。
练习题数据建表语句：
drop table if exists `dante_test.rank`;create external table `dante_test.rank` (`uid` int COMMENT '用户id',`product_skn` int COMMENT '商品id',`brand_id` int COMMENT '品牌id',`rank` int '排序')row format delimited fields terminated by ','location '/tmp/dante/rank';load data inpath '/tmp/dante/rank' into table dante_test.rank数据集
1,50001,11,11,50002,11,21,50003,12,31,50004,13,42,50002,11,12,50004,13,22,50005,13,32,50006,14,4描述就是对一个用户，在他偏好的商品中，把每个品牌中排第一的排前面，内...阅读全文

问： 如何快速地把握一个开源项目的脉络？
答： 除了其它阅读源码的一些技巧外，最好要经常看类调用关系图。
问： 怎样看一个项目的类调用关系图？
答： 两种常用方式：1. 常用IDE都带有查看uml图的功能，比如idea和myeclipse。2. 使用其它专门用来看代码的工具，比如这次我要推荐的doxygen
问： doxygen有什么用？
答： doxygen主要有下面两个功能：1. 看文档，它类似与javadoc，但是功能更全一些，而且不限于java一种语言2. 看类的各种关系图，非常细致，非常实用，用了就知道。
问： doxygen怎么用？
答： 别急，下面就将专门介绍。
0x01 安装doxygen+graphviz环境操作系统：ubuntu 16.04阅读源代码：junit4.12浏览器：chrome安装直接用apt安装就好，挺省事的。喜欢折腾就去源码安装吧。
sudo apt install doxygen //主程序sudo apt install doxygen-gui //doxygen的gui版sudo apt install graphviz //...阅读全文