标签数据抓取下的文章

Android网络监控抓包工具的制作(tcpdump的使用)

JerryXia 发表于 October 23, 2013 , 阅读 (3,633)

最近做一个Android联网抓包的工具，自己在网上搜索了好久，发现还是没有头绪，于是考虑在linux层上下功夫于是采用linux的tcpdump来实现了抓包的功能，用简单的话来定义tcpdump，就是：dumpthe traffic on anetwork，根据使用者的定义对网络上的数据包进行截获的包分析工具。作为互联网上经典的的系统管理员必备工具，tcpdump以其强大的功能，灵活的截取策略，成为每个高级的系统管理员分析网络，排查问题等所必备的东东之一。对于tcpdump详细的信息可以参... 阅读全文

[ Android ] [ 数据抓取 ] | 分类：编程开发 | 评论

Sqlite大数据量查询优化比较

JerryXia 发表于 September 4, 2013 , 阅读 (5,820)

标题写的有些大了……我做的一个Web网站用的是Sqlite数据库，昨天某网站采集了4039篇文章，发现页面打开速度慢的要死，看了一下耗时，发现sqlite在数据量比较大（4000算大？……我觉得挺大的了）的时候执行orderby xxx desc会变得很慢……1、select * from blog_cms where status=1 limit 0,10耗时15ms2、select * from blog_cms where status=1 ORDER BY id DESC limi... 阅读全文

[ 数据抓取 ] [ Sqlite ] | 分类：数据库技术 | 评论

C#多线程中使用ReaderWriterLock类实现多用户读/单用户写同步

JerryXia 发表于 June 28, 2013 , 阅读 (3,923)

使用Monitor或Mutex进行同步控制的问题：由于独占访问模型不允许任何形式的并发访问，这样的效率总是不太高。许多时候，应用程序在访问资源时是进行读操作，写操作相对较少。为解决这一问题，C#提供了System.Threading.ReaderWriterLock类以适应多用户读/单用户写的场景。该类可实现以下功能：如果资源未被写操作锁定，那么任何线程都可对该资源进行读操作锁定，并且对读操作锁数量没有限制，即多个线程可同时对该资源进行读操作锁定，以读取数据。如果资源未被添加任何读或写操作... 阅读全文

[ 数据抓取 ] [ DotNet ] [ C# ] [ 多线程 ] | 分类：编程开发 | 评论

采集时为什么推荐CSV文件而非Excel文件

JerryXia 发表于 June 25, 2013 , 阅读 (40,310)

什么是CSV？CSV（逗号分隔值）格式是最常见的数据库和电子表格导入和导出格式。什么是Excel？微软Excel是由微软开发的用于电子表格处理的应用程序，XLS文件是Excel的文件存储格式。我们通常说Excel格式指的就是XLS格式。CSV格式比Excel格式具备的优势：1）CSV是纯文本文件，支持追加模式写入，节省内存。Excel是结构复杂的二进制文件，只支持一次性写入，较费内存。2）CSV的文件行数没有限制，在实际项目中我们已输出过上千万行的CSV文件；32位系统下Excel单个Sh... 阅读全文

[ 数据抓取 ] | 分类：编程开发 | 评论

正则表达式之去除font和span标签

JerryXia 发表于 June 25, 2013 , 阅读 (4,739)

在程序爬行网页时有个很头疼的问题，就是网页中有很多无用的修饰性的标签。一个一个删的话工程量太大，幸好平时接触过一些正则表达式，先看看以下内容：如何使用sed&... 阅读全文

[ 数据抓取 ] [ 正则表达式 ] | 分类：编程开发 | 评论

基于DotNET框架的抓取网页的方式

JerryXia 发表于 May 12, 2013 , 阅读 (2,287)

基于.NET框架的抓取网页的方式，下面是代码实例；// 请求web页面，获取pageStr private static string GetWholeHtmlCode(string url) { string strHtml = string.Empty; StreamReader strReader = null; HttpWebResponse wrpContent = null; try { HttpWebRequest ... 阅读全文

[ 数据抓取 ] [ C# ] | 分类：编程开发 | 评论