class MessageConfig {@BeanProperty var name: String = _@BeanProperty var sex: String = _}Exception in thread "main" java.lang.ClassCastException: java.util.LinkedHashMap cannot be cast to com.lagou.entity.MessageConfigat YamlTest$delayedInit$body.apply(YamlTest.scala:32)at scala.Function0$class.apply$mcV$sp(Function0.scala:40)at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12)at scala.App$$anonfun$main$1.apply(App.scala:71)at scala.App$$anonfun$main$1.apply(App.scala:71)a...阅读全文

前言之前学习sqoop时候留下的笔记，整理一下。
笔记列出数据库列表bin/sqoop list-databases --connect jdbc:mysql://z2:3306 --username rootmysql导入hdfs中bin/sqoop import --connect jdbc:mysql://hostip:3306/sqoop_test --username root -password  mylove --table student -m 1mysql导入hdfs并制定分隔符，以及指定字段的类型。主要是防止sqoop将bit的类型自动转成boolean。
sqoop import \--connect 'jdbc:mysql://ip:3306/test' \--username 'test' \--password 'test' \--table 'test_table' \--target-dir '/tmp/test' \--map-column-java 'username=String,password=String,type=String,scor...阅读全文

错误原因在stackoverflow中的回答是：
Gradle by default use the ant task to build Scala code, and https://issues.scala-lang.org/browse/SI-8966 shows that jvm 1.8 was not added as a supported target until Scala 2.11.5.
You can try using the Zinc based compiler with by adding the following the gradle build file.
tasks.withType(ScalaCompile) {scalaCompileOptions.useAnt = false}You may also need to add the zinc compiler to your dependency list.
解决方法解决方法有三个：
1.升级scala版本，把scala升级到2.11就OK了2.降低java版本，1.7不会出错3.老...阅读全文

读后感最近对黑客方面的东西比较感兴趣，一方面找了很多的技术方面的书，并做了一些实践，另一方面看了不少相关方面的闲书培养一下感觉。
另外有一本叫《黑客》的书，我还没看完，它主要讲的是各个计算机方面的天才，那种顶级的计算机玩家，它其实想向人表达的是一种黑客的精神，这里的黑客的意思其实是非常正直的，和什么破解网站了、搞破坏了是没太大关系的，至少侧重点不会是这个。
《黑客简史》这本书在某种意义上才是想了解黑客的人想读的书，他基本上是围绕着搞破坏的黑客为主线来展开的书，即使里面会讲到李开复这种感觉和搞破坏没什么关系的人，但是讲的也是他们曾经做过的小恶作剧，站在这点上我十分喜欢这本书，所以我花了两天的时间看完了它。
对我目前的状态来说，看黑客方面的书代入感特别强，看着这些故事确实是跌宕起伏。书里面把那些有名的、对世界造成过伤害的黑客都讲了一遍。看完之后让人感受很深。
可以感觉到，很多人都是疯子。他们会为了自己认为的自由和正义和全世界作对，而且明知道自己最后可能永远不可能是赢的玩家。在看到这种故事的时候我就在想，这群黑客们，他们崇尚一种开放、自由的状态，比如说知识应该被开放给所有的人而不是用...阅读全文

前言这次主要是想通过源码找到invalidate metadata执行的原理，由于不太懂java和c++的互调的细节，目前只能查找到如下阶段，后面会专门看一下java的jni以及thrift的原理。
分析目前主要定位到三个类，com.cloudera.impala.service.JniCatalog ,com.cloudera.impala.service.CatalogOpExecutor和com.cloudera.impala.catalog.CatalogServiceCatalog。
大致的过程就是在JniCatalog中调用了CatalogOpExecutor的execResetMetadata()方法，然后再判断参数，如果没有表参数的时候会执行CatalogServiceCatalog的reset方法，就完成了一次invalidate metadata操作。
com.cloudera.impala.service.JniCatalogpublic class JniCatalog {private final CatalogOpExecutor catalogOpE...阅读全文