搜索资源列表
NWebCrawler
- 一款用 C# 编写的网络爬虫。用户可以通过设置线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等参数,获得网络上URL,下载得到的数据存储在数据库中。-Using a web crawler written in C#. Users can set the number of threads, thread waiting time, connection time, crawling file types can be Type and priority, the do
ReadWrite
- ‘强读’的TCP实现。利用TCP协议实现服务器与客户端的通信,客户端拥有读写功能,其中读操作的优先级高于写操作。每一个客户都用一个线程处理,利用wait(),notify()方法实现‘强读’。本文件是典型java通信实例,有助于了解多线程和TCP通信的机制。-‘Strong reading&’TCP implementation. Server using TCP protocol to communicate with the client, the client has read and w
spider2006
- 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 -C# spider.
thread_pool
- 这是一个线程池实例程序。线程池是一种多线程处理形式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务。线程池线程都是后台线程.每个线程都使用默认的堆栈大小,以默认的优先级运行,并处于多线程单元中.如果某个线程在托管代码中空闲(如正在等待某个事件),则线程池将插入另一个辅助线程来使所有处理器保持繁忙.如果所有线程池线程都始终保持繁忙,但队列中包含挂起的工作,则线程池将在一段时间后创建另一个辅助线程但线程的数目永远不会超过最大值.超过最大值的线程可以排队,但他们要等到其他线程完成后才启动
ThreadScheduling
- 线程调度的介绍,主要是时间片轮转和优先级的方式来实现-The introduction of the thread scheduling, round-robin and priority to achieve
duoxianchengwangyexinxicaiji
- 多线程网页信息采集,可以自行设置过滤信息,下载间隔时间,以及优先级-Multi-threaded web information collection, you can set your own filtering information, download interval, as well as priority
NWebCrawler
- 网络爬虫, * 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 * 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 * 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 * 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 * 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。-Web crawler
multithceaded_threud_manually
- 利用编写的多线程运用程序,可以手动改变线程优先级, 很直观,-Writing multithreaded applications, can be used to manually change the thread priority, intuitive,
vuoiable
- 利用编写的多线程运用程序,可以手动改变线程优先级, 很直观,()