搜索资源列表
multiseek
- 网络搜索引擎源代码.可以用在元数据网站的搜索方面.基本的模块都已经具备.比如多线程下载的机制已经完成.-Network searching engine code,which can be used in the searching mission of meta-data sites,now has been provided with basic modules,such as the accomplishment of multi-thread downloading mechanism.
SearchEngineCore
- 搜索引挚内核 SearchKernel.ocx控件被加载过10万个以上不同地址,通过了稳定性测试. 在VC, VB, Office, Web页上分别测试通过. SeKel.h是控件的接口说明. test目录中是控制的调用源代码. 控件内置多线程下载. 内置html完全解释.(解释了90％左右html脚本, 容错控制采用仿ie的技术) 内置javascrip有限解释.(解释了基本循环, 字符操作运算和整型运算) 内置正文分析的分解.(只仅中文简体)
search_engine
- 搜索引擎 控件内置多线程下载. 内置html完全解释.(解释了90％左右html脚本, 容错控制采用仿ie的技术) 内置javascrip有限解释.(解释了基本循环, 字符操作运算和整型运算) 内置正文分析的分解.(只仅中文简体) 后三项可以关掉, 采用第三方技术.
src
- 从网上找了很久，没找到合用的，就自己写了一个根据配置文件keyword.txt批量多线程下载图片的程序。比较简单，但很实用。不用一个个从image.google.com或者images.baidu.com上扒拉图片了。下次该给起个很酷的名字，叫图片吸血鬼，好像有了
GetImage_Eng
- 类似网络爬虫，从一个网页“爬”到另一个网页，然后选择图片下载。多线程。 可以用来按照一定规则下载网页中的元素，如图片、网页、flash等，举例如下-download images or other stuffs by analyzing webpages, search for webpages like a spider. you can config the downloading and crawling strategy in the program
MySo
- 例子以拍拍网为例下载网页，最大线程1024，但是要比较好的网络条件下，机器配置比较高才不会处问题哦，在服务器上测试效果很好。-Patted network example to download page as an example, the biggest thread 1024, but relatively good network conditions, the machine configuration will not compare Gao Cai Department issue
ESP
- 使用dotnet + 多线成的爬虫程序。 主要用于sina ， 163 等大型论坛。 后台搭配数据库， 已经实现了 下载后的搜索， 图片已经实现下载在分类目录。 -Using dotnet+ Multi-line program into the reptiles. Mainly used sina, 163 and other large forums. Background with a database, has become a reality after downloa
56
- 多线程文件搜索，需要的朋友可以下载下来看看，学习学习-Multi-threaded file search, necessary friends can download them to see, study study
ComicSpider
- 本程序实现了对漫画的自动搜索与自动下载，通过使用httpclient及htmlparser爬取获得图像路径，并采取多线程方式进行下载，速度很快，可以二次开发。-This program implements an automatic search for comics and automatically download, using httpclient and htmlparser crawling get the image path, and take multiple threads
spider2006
- 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 -C# spider.
NWebCrawler
- 网络爬虫, * 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 * 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 * 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 * 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 * 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。-Web crawler