搜索资源列表
urlnorm
- 一个python的url规整化的模块 可以将很多种不同格式的url字符串规整化到一个标准的格式，很简单也很实用
youtube-dl
- 获取 Youtube 视频的 Python 脚本代码。可以解析出Youtube视频的真正URL。-Access to Youtube video of Python scr ipt code. Can resolve a Youtube video of the real URL.
download
- 一个十分简单的用于下载文件的小工具。 输入网络文件的URL，按go即可.-For a very simple little tool to download files. Enter the network file URL, you can go by.
python_mikezp59
- 读取url的内容, python 3.1.1开发。非常简单，只需要给定一个url作为参数，就可以读取网页内容-read the content of a url, very simple. You just need to give a url as parameter.
photo
- 从网上下载图片，做成界面的工具，输入网址和保存图片地址，可以下载该网址的所有图片。-Download pictures from the Internet, made the interface tool, enter the URL address and save images, you can download all the pictures of the site.
collect_py
- 一个PYTHON开发的采集网站内容的源码，修改网站URL可以采集任何网站-PYTHON development of a collection of web content source, modify the website URL of any web site can be collected
IronWebAnalyzerSource
- Key Features • Automatically find URLs and follow them • Develop custom analyzers with Iron Python language • Custom filtering for download URLs • View HTTP properties of downloaded URL • Save project and conti
py
- python文件生成，python封装发布.exe格式的文件，可用网址调用-python file generation, python package release. exe file format that can be used to call the URL
pyspider.75
- 利用python抓取网络图片的步骤： 1.根据给定的网址获取网页源代码 2.利用正则表达式把源代码中的图片地址过滤出来 3.根据过滤出来的图片地址下载网络图片-Python crawls using network picture steps: 1 according to the given URL gets Webpage 2 source code using regular expressions to put pictures address filtering out 3 based
BaiduSearch
- Python脚本，用于获取百度搜索结果（标题和URL）-python code,for getting baidu s search result, besides title and url
girl2.0
- python爬虫，可以爬妹子图网站的图片，自动搜索URL 并且有多线程，可以自己修改线程数-python reptile can climb picture sister FIG website URL and automatically search multiple threads, can modify their own threads
Crawler
- 一个简单的python爬虫程序，基于youtube视频-web url crawler
1
- 修改config.ini文件中的cookie，为目标网站的cookie（通过抓包获取） 修改blacklist.py中的URL为目标按钮的URL；修改time.sleep（）里面的时间可以调整点击间隔，单位时秒 通过该文件可以实现对目标网站特定按钮的点击测试(Modify the config.ini file in the cookie, as the target site of the cookie (through capture access) Modify the URL in
ToolsForHTML
- 自动下载起点网文档，只需要提供详细的网址(down file of qidian web, only need the url)
spider_baike-master
- 一个简单的初级爬虫程序通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价
spider-master
- 能够爬取所有车辆的信息，并且保存起来json里面 爬取所有url(Family car of the reptile, crawling on all models car home, save as excel format)
豆瓣爬虫
- 爬取豆瓣top250电影资料， ①requests库获取html信息 getHTMLText(url)方法实现 ②通过BeautifuSoup库与re库整理筛除信息 stringTidy(string) parsePage(html)方法实现 ③最后读入文件中 getMovieInfo(movieList,fpath)方法实现(python use request method getHTMLText(url) get html BeautifulSoup and re)
批量检测链接可用性
- 使用python写的,批量检测URL链接可用性的GUI工具.依赖库tkinter, Python3开发.
多线程爬虫
- 一个简单健壮的多线程爬虫程序，可以添加代理IP池、url池。并且已经构造好请求头和异常处理(A simple and robust crawler program, which can add agent IP pool and URL pool. And have constructed the request header and exception handling)
superl-url-master
- python小爬虫，学习借鉴使用，请勿用于其他用途(Python small crawler, learn from using)