Android网络监控抓包工具的制作(tcpdump的使用)

JerryXia 发表于 , 阅读 (3,548)
最近做一个Android联网抓包的工具,自己在网上搜索了好久,发现还是没有头绪,于是考虑在linux层上下功夫于是采用linux的tcpdump来实现了抓包的功能,用简单的话来定义tcpdump,就是:dumpthe traffic on anetwork,根据使用者的定义对网络上的数据包进行截获的包分析工具。作为互联网上经典的的系统管理员必备工具,tcpdump以其强大的功能,灵活的截取策略,成为每个高级的系统管理员分析网络,排查问题等所必备的东东之一。对于tcpdump详细的信息可以参... 阅读全文

Sqlite大数据量查询优化比较

JerryXia 发表于 , 阅读 (5,693)
标题写的有些大了……我做的一个Web网站用的是Sqlite数据库,昨天某网站采集了4039篇文章,发现页面打开速度慢的要死,看了一下耗时,发现sqlite在数据量比较大(4000算大?……我觉得挺大的了)的时候执行orderby xxx desc会变得很慢……1、select * from blog_cms where status=1 limit 0,10耗时15ms2、select * from blog_cms where status=1 ORDER BY id DESC limi... 阅读全文

C#多线程中使用ReaderWriterLock类实现多用户读/单用户写同步

JerryXia 发表于 , 阅读 (3,840)
使用Monitor或Mutex进行同步控制的问题:由于独占访问模型不允许任何形式的并发访问,这样的效率总是不太高。许多时候,应用程序在访问资源时是进行读操作,写操作相对较少。为解决这一问题,C#提供了System.Threading.ReaderWriterLock类以适应多用户读/单用户写的场景。该类可实现以下功能:如果资源未被写操作锁定,那么任何线程都可对该资源进行读操作锁定,并且对读操作锁数量没有限制,即多个线程可同时对该资源进行读操作锁定,以读取数据。如果资源未被添加任何读或写操作... 阅读全文

采集时为什么推荐CSV文件而非Excel文件

JerryXia 发表于 , 阅读 (40,074)
什么是CSV?CSV(逗号分隔值)格式是最常见的数据库和电子表格导入和导出格式。什么是Excel?微软Excel是由微软开发的用于电子表格处理的应用程序,XLS文件是Excel的文件存储格式。我们通常说Excel格式指的就是XLS格式。CSV格式比Excel格式具备的优势:1)CSV是纯文本文件,支持追加模式写入,节省内存。Excel是结构复杂的二进制文件,只支持一次性写入,较费内存。2)CSV的文件行数没有限制,在实际项目中我们已输出过上千万行的CSV文件;32位系统下Excel单个Sh... 阅读全文

正则表达式之去除font和span标签

JerryXia 发表于 , 阅读 (4,595)
在程序爬行网页时有个很头疼的问题,就是网页中有很多无用的修饰性的标签。一个一个删的话工程量太大,幸好平时接触过一些正则表达式,先看看以下内容:<p><font style="font-size:16px;font-family:宋体"><span lang="zh-cn">如何使用</span></font>sed<font color="#0df2a3">&... 阅读全文

基于DotNET框架的抓取网页的方式

JerryXia 发表于 , 阅读 (2,187)
基于.NET框架的抓取网页的方式,下面是代码实例;// 请求web页面,获取pageStr private static string GetWholeHtmlCode(string url) { string strHtml = string.Empty; StreamReader strReader = null; HttpWebResponse wrpContent = null; try { HttpWebRequest ... 阅读全文