Flume 踩坑排雷记 | JiaYu's Blog 

作者:JerryXia | 发表于 , 阅读 (0)
1. 背景最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作,这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中,Flume-1.7.0 主要用来收集各种来源、形式的数据,并把数据传给 Kafka 集群,由 Kafka 集群统一分发给 HBase 集群。
用 Flume ,主要用到的 Source 是 spooldir source 和 http-json source,Sink 就主要是 Kafka Sink,配置非常灵活、功能也很强大。但在使用的过程中踩了不少坑,撰文记录一下比较重要的几个。
NOTE:Flume-ng 的Agent 由三部分组成:Source/Channel/Sink,Source 相当于数据录入源,是 生产者 的角色; Channel 相当于数据传输通道;Sink 相当于数据接收端,是消费者的角色。在 Flume-ng 中,数据流向是 Source-->Channel-->Sink。
2. kafka Sink 配置坑2.1 LEADER_NOT_AVAILABLE ErrorKaf...阅读全文

 Cuckoo 安装、配置详解 | JiaYu's Blog 

作者:JerryXia | 发表于 , 阅读 (0)
0x00 简述沙盒(Sanbox) 是一种将未知、不可信的软件隔离执行的安全机制。恶意软件分析沙盒一般用来将不可信软件放在隔离环境中自动地动态执行,然后提取其运行过程中的进程行为、网络行为、文件行为等动态行为,安全研究员可以根据这些行为分析结果对恶意软件进行更深入地分析。
Cuckoo 是一款用 Python 编写的开源的自动化恶意软件分析系统,它的主要功能有:
跟踪记录恶意软件所有的调用状况;恶意软件文件行为:恶意软件执行过程中创建新文件、修改文件、删除文件、读取文件或下载文件的行为;获取恶意软件的内存镜像;以 PCAP 格式记录恶意软件的网络流量;获取恶意软件执行过程中的屏幕截图;获取执行恶意软件的客户机的完整内存镜像Cuckoo 可以分析的文件类型包括但不限于:
Windows 可执行文件DLL 文件PDF 文件MS Office 文件URL 和 HTML 文件PHP 脚本文件CPL 文件VB 脚本文件ZIP 压缩包JAR 文件Python 脚本文件APK 文件ELF 文件Cuckoo 的架构也比较简单,在 Host 机上运行 Cuckoo 主程序,多个 Guest 机通过...阅读全文

 (译)MSVC++ 逆向(一) —— 异常处理 | JiaYu's Blog 

作者:JerryXia | 发表于 , 阅读 (0)
原文: http://www.openrce.org/articles/full_view/21
摘要MSVC++ 是编写 Win32 应用程序最常用的编译器,所以在 Win32 平台的逆向工作中,懂得其底层工作原理,对逆向工程师来说至关重要。掌握 VC++ 程序的底层原理之后,便能在逆向过程中精准、快速识别编译器生成的胶水代码(Glue Code),这样可以让逆向工程师快速聚焦于二进制文件背后的真实程序和真实逻辑。另外,这对还原程序中高层次的结构(译注:面向对象的数据结构和程序组织结构、异常相关数据结构等)也有莫大帮助。  
本文只是系列文章的上半部分(下半部分见: Part II: Classes, Methods and RTT),主要讲栈展开、异常处理以及 MSVC 编译生成相关的数据结构。阅读本文需要有汇编、寄存器和调用约定相关的知识储备,当然,MSVC++ 的编程基础知识也是必要的。  
名词解释:
栈帧(Stack Frame):栈 中为函数所用的一个 片段,里面通常包含函数相关的参数(Arguments)、返回地址(Return-to-Caller Addres...阅读全文

 Vim 入门教程 | JiaYu's Blog 

作者:JerryXia | 发表于 , 阅读 (0)
图片来自: http://www.cnblogs.com/zhangsf/archive/2013/06/13/3134409.html
公司新员工学习有用到,Vim官网的手册又太大而全,而网上各方资料要么不全面,要么不够基础。在网上搜集各方资料,按照自己的框架整理一份Vim入门基础教程,分享出来。特点是偏向基础,但对入门者来说足够全面,而且结构框架清晰。另外,参考资料众多,没有一一标出来,如果作者看到,请联系我确认一下是否参考了你的资料,我会在文中标注出来。
1. 简介Vim(Vi[Improved])编辑器是功能强大的跨平台文本文件编辑工具,继承自Unix系统的Vi编辑器,支持Linux/Mac OS X/Windows系统,利用它可以建立、修改文本文件。进入Vim编辑程序,可以在终端输入下面的命令:1$vim [filename]
其中 filename 是要编辑器的文件的路径名。如果文件不存在,它将为你建立一个新文件。Vim编辑程序有三种操作模式,分别称为 编辑模式、插入模式 和 命令模式,当运行Vim时,首先进入编辑模式。
2. 编辑模式Vim编辑方式的主要用途是在被...阅读全文