分享77个HTMLCSS源码，总有一款适合您

HTML&CSS源码

分享77个HTML&CSS源码，总有一款适合您

下面是文件的名字，我放了一些图片，文章里不是所有的图主要是放不下...，大家下载后可以看到。

源码下载链接：https://pan.baidu.com/s/1QRSokzVy2ZAaSD6VR5t7_w?pwd=wkjk
提取码：wkjk

采集代码下载链接：采集代码.zip - 蓝奏云

import os
import shutil
import time
from time import sleepimport requests
from bs4 import BeautifulSoup
from docx import Document
from docx.shared import Inchesfrom framework.base.BaseFrame import BaseFrame
from sprider.business.DownLoad import DownLoad
from sprider.business.SeleniumTools import SeleniumTools
from sprider.business.SpriderTools import SpriderToolsfrom selenium import webdriver
from selenium.webdriver.common.by import By
from sprider.model.SpriderEntity import SpriderEntity
from sprider.access.SpriderAccess import SpriderAccessclass HuaJunCode:base_url =  "https://down.chinaz.com" # 采集的网址save_path = "D:\\Freedom\\Sprider\\ChinaZ\\"sprider_count = 77  # 采集数量sprider_start_count=70# 正在采集第51页的第7个资源，共60页资源 debugword_content_list = []folder_name = ""page_end_number=0max_pager=15 #每页的数量haved_sprider_count =0  # 已经采集的数量page_count = 1  # 每个栏目开始业务content="text/html; charset=gb2312"filter_down_file=[]def __init__(self):passdef sprider(self,title_name="NET"):"""采集PHP https://down.chinaz.com/class/572_5_1.htmNET https://down.chinaz.com/class/572_4_1.htmASP https://down.chinaz.com/class/572_3_1.htmPytyhon https://down.chinaz.com/class/604_572_1.htmhttps://down.chinaz.com/class/608_572_1.htm:return:"""if title_name == "PHP":self.folder_name = "PHP源码"self.second_column_name = "572_5"elif title_name == "Go":self.folder_name = "Go源码"self.second_column_name = "606_572"elif title_name == "NET":self.folder_name = "NET源码"self.second_column_name = "572_4"elif title_name == "ASP":self.folder_name = "ASP源码"self.second_column_name = "572_3"elif title_name == "Python":self.folder_name = "Python源码"self.second_column_name = "604_572"elif title_name == "JavaScript":self.folder_name = "JavaScript源码"self.second_column_name = "602_572"elif title_name == "Java":self.folder_name = "Java源码"self.second_column_name = "572_517"elif title_name == "HTML":self.folder_name = "HTML&CSS源码"self.second_column_name = "608_572"#first_column_name = title_name # 一级目录second_folder_name = str(self.sprider_count) + "个" + self.folder_name #二级目录self.sprider_type =second_folder_nameself.merchant=int(self.sprider_start_count) //int(self.max_pager)+1 #起始页码用于效率采集self.file_path = self.save_path + os.sep + "Code" + os.sep + first_column_name + os.sep + second_folder_nameself.save_path = self.save_path+ os.sep + "Code" + os.sep+first_column_name+os.sep + second_folder_name+ os.sep + self.folder_nameBaseFrame().debug("开始采集ChinaZCode"+self.folder_name+"...")sprider_url = (self.base_url + "/class/{0}_1.htm".format(self.second_column_name))down_path="D:\\Freedom\\Sprider\\ChinaZ\\Code\\"+first_column_name+"\\"+second_folder_name+"\\Temp\\"if os.path.exists(down_path) is True:shutil.rmtree(down_path)if os.path.exists(down_path) is False:os.makedirs(down_path)if os.path.exists(self.save_path ) is True:shutil.rmtree(self.save_path )if os.path.exists(self.save_path ) is False:os.makedirs(self.save_path )chrome_options = webdriver.ChromeOptions()diy_prefs ={'profile.default_content_settings.popups': 0,'download.default_directory':'{0}'.format(down_path)}# 添加路径到selenium配置中chrome_options.add_experimental_option('prefs', diy_prefs)chrome_options.add_argument('--headless') #隐藏浏览器# 实例化chrome浏览器时，关联忽略证书错误driver = webdriver.Chrome(options=chrome_options)driver.set_window_size(1280, 800)  # 分辨率 1280*800# driver.get方法将定位在给定的URL的网页，get接受url可以是任何网址，此处以百度为例driver.get(sprider_url)# content = driver.page_source# print(content)div_elem = driver.find_element(By.CLASS_NAME, "main")  # 列表页面 核心内容element_list = div_elem.find_elements(By.CLASS_NAME, 'item')laster_pager_ul = driver.find_element(By.CLASS_NAME, "el-pager")laster_pager_li =laster_pager_ul.find_elements(By.CLASS_NAME, 'number')laster_pager_url = laster_pager_li[len(laster_pager_li) - 1]page_end_number = int(laster_pager_url.text)self.page_count=self.merchantwhile self.page_count <= int(page_end_number):  # 翻完停止try:if self.page_count == 1:self.sprider_detail(driver,element_list,self.page_count,page_end_number,down_path)passelse:if self.haved_sprider_count == self.sprider_count:BaseFrame().debug("采集到达数量采集停止...")BaseFrame().debug("开始写文章...")self.builder_word(self.folder_name, self.save_path, self.word_content_list)BaseFrame().debug("文件编写完毕，请到对应的磁盘查看word文件和下载文件！")break#(self.base_url + "/sort/{0}/{1}/".format(url_index, self.page_count))#http://soft.onlinedown.net/sort/177/2/next_url = self.base_url + "/class/{0}_{1}.htm".format(self.second_column_name, self.page_count)driver.get(next_url)div_elem = driver.find_element(By.CLASS_NAME, "main")  # 列表页面 核心内容element_list = div_elem.find_elements(By.CLASS_NAME, 'item')self.sprider_detail( driver, element_list, self.page_count, page_end_number, down_path)pass#print(self.page_count)self.page_count = self.page_count + 1  # 页码增加1except Exception as e:print("sprider()执行过程出现错误:" + str(e))sleep(1)def sprider_detail(self, driver,element_list,page_count,max_page,down_path):"""采集明细页面:param driver::param element_list::param page_count::param max_page::param down_path::return:"""index = 0element_array=[]element_length=len(element_list)for element in element_list:url_A_obj = element.find_element(By.CLASS_NAME,  'name-text')next_url = url_A_obj.get_attribute("href")coder_title = url_A_obj.get_attribute("title")e=coder_title+"$"+ next_urlelement_array.append(e)passif int(self.page_count) == int(self.merchant):self.sprider_start_index = int(self.sprider_start_count) % int(self.max_pager)index=self.sprider_start_indexwhile index < element_length:if os.path.exists(down_path) is False:os.makedirs(down_path)if self.haved_sprider_count == self.sprider_count:BaseFrame().debug("采集到达数量采集停止...")break#element = element_list[index]element=element_array[index]time.sleep(1)index = index + 1sprider_info="正在采集第"+str(page_count)+"页的第"+str(index)+"个资源，共"+str(max_page)+"页资源"BaseFrame().debug(sprider_info)next_url=element.split("$")[1]coder_title=element.split("$")[0]# next_url = element.find_element(By.TAG_NAME, 'a').get_attribute("href")# coder_title =element.find_element(By.TAG_NAME, 'img').get_attribute("title")driver.get(next_url) # 请求明细页面try:codeEntity = SpriderEntity()  # 下载过的资源不再下载codeEntity.sprider_base_url = self.base_urlcodeEntity.create_datetime = SpriderTools.get_current_datetime()codeEntity.sprider_url = next_urlcodeEntity.sprider_pic_title = coder_titlecodeEntity.sprider_pic_index = str(index)codeEntity.sprider_pager_index = page_countcodeEntity.sprider_type = self.sprider_typeif SpriderAccess().query_sprider_entity_by_urlandindex(next_url, str(index)) is None:SpriderAccess().save_sprider(codeEntity)else:BaseFrame().debug(coder_title+next_url + "数据采集过因此跳过")continueif SeleniumTools.judeg_element_isexist(driver, "CLASS_NAME", "download-item") == 3:driver.back()BaseFrame().debug(coder_title+"不存在源码是soft因此跳过哦....")continueprint("准备点击下载按钮...")driver.find_element(By.CLASS_NAME, "download-item").click() #下载源码result,message=SpriderTools.judge_file_exist(True,240,1,down_path,"zip|rar|gz|tgz")#判断源码if result is True:sprider_content = [coder_title, self.save_path + os.sep +"image"+ os.sep + coder_title + ".jpg"]  # 采集成功的记录self.word_content_list.append(sprider_content)  # 增加到最终的数组self.haved_sprider_count = self.haved_sprider_count + 1BaseFrame().debug("已经采集完成第" + str(self.haved_sprider_count) + "个")time.sleep(1)driver.back()coder_title = str(coder_title).replace("/", "") #去掉windows不识别的字符files = os.listdir(down_path)file_name = files[0] #获取默认值if len(self.filter_down_file)>0:for file in files:for filter_file in self.filter_down_file:if str(file) in str(filter_file):passelse:file_name = filesrcFile = down_path + os.sep + file_namefile_ext = os.path.splitext(srcFile)[-1]dstFile = down_path + os.sep + coder_title + file_extos.rename(srcFile, dstFile)srcFile = dstFiledstFile = self.save_path + os.sep + coder_title + file_extshutil.move(srcFile, dstFile)  # 移动文件else:try:BaseFrame().error("检测下载文件出错可能原因是等待时间不够已经超时，再等待60秒...")time.sleep(60)shutil.rmtree(down_path) #如果没下载完是无法删除的#清空数组self.filter_down_file.clear()except Exception as e:# 使用数组append记录文件名字 移动的时候过滤coder_title = str(coder_title).replace("/", "")  # 去掉windows不识别的字符self.filter_down_file.append(coder_title)passexcept Exception as e:#shutil.rmtree(down_path)BaseFrame().error("sprider_detail()执行过程出现错误：" + str(e))#driver.get(sprider_url)#driver.quit()if(int(page_count)==int(max_page)):self.builder_word(self.folder_name,self.save_path,self.word_content_list)BaseFrame().debug("文件编写完毕，请到对应的磁盘查看word文件和下载文件！")

Win8 Metro双风格个性网址导航 v1.3
简·风格网址导航 v1.1
个人博客网站html模板源码 v1.1
博闻广记古典式网页模板 v1.8
AnywhereAnything—单页式快捷搜索系统 v1.0
世界时间查询源码 v1.0
常用的5种鼠标滑过动画效果 v1.0
超级编辑器 v1.0
jQuery手机端上拉刷新下拉加载更多页面 v1.0
视频列表连播功能 v3.5
Jquery 网页弹幕插件 v1.0
HTML5微信网页调用监控直播 v2.01
jquery跨平台图片轮播代码 v1.0
多美在线微信图文编辑器 v2.1
html5小游戏之看看你有多老 v1.0
jquery无限级树形菜单源码 v1.0
落花响应式表白源码 v1.0
黄色机械企业网站模板 v8
简洁粉色食品公司网站 v8
微信朋友圈小游戏接水果 v0.1
2016年新年祝福网页源码 v1.0
徐大大网页版 v1.0
base64加密解密程序 v1.0
html5七夕情人节送花卡通短片特效 v1.0
html5全屏3D效果圣诞雪花飘洒效果 v1.0
HTML5全屏翻页源码 v1.0
麦拉风响应式表白源码 v1.0
基于html5的自适应响应试404错误页面 v7.1
天下有情人钟情眷属表白网站源码 v1.0
中国推特聚合搜索 v1.0
中秋在线生成祝福系统 v1.01
一款精美的404页面 v1.0
bootstrap响应式后台html模板源码 v2.2
HTML5 制作疯狂的触手 v1.0.1
炫酷的网站首页导航 v1.0.1
HTML5点击添加商品购物车代码 v1.0
html5+css完美烟花 v1.0
云上的日子音乐网源码 v1.1
音乐网站 v1.0
移动综合搜索引擎大全单页html版 v2015.07.22
高仿谷歌响应式首页 v1.0
表白软件 v1.0
个人交易网源码 v2.0
360导航源码 v5.0
漂亮仿APP下载页面 v1.0
银行网址大全HTML模板 v2.0
蓝光联盟 v1 经典版
网站响应式布局检测工具 v1.0
功能强大的万年历源码 v1.0
hao123万年历源码 v2015
仿uc123导航_完整版 v1.0.0
360网络信息安全大赛模板 v1.0
46644手机网址导航 v1.0
2015年母亲节祝福源码 v1.0
最新超酷炫加特技的个人主页 v1.0
人型显示时间 v1.0
唯美可按键打开网址导航 v1.0
Landor触屏版html5网站模板 v1.0
底部导航左侧滑入js特效源码 v1.0
2个仿携程手机专题单页模板 v1.0
几个微信朋友圈测试小游戏 v1.0
繁体字转换工具 v1.0
IRONIA自适应html5手机模板 v1.0
仿GoMobile触屏版html5 v1.0
微信红包整人之愚人节快乐 v1.0
3D版表白网 v1.0
超炫酷表白网 v1.0
微网站手机wap网站模板 v1.0
派派随机视频聊天系统 v1.0
表白软件 v2.0
HUX免签约支付宝自动发货系统 v1.1
雄鹰网址导航源码 v1.0
2015新春祝福源码 v2.1
腾讯甲午战争专题模版 v1.0
好易漂亮网址导航程序源码 v2.0
备战情人节十款表白网页源码合集 v1.0
贺岁版红色风格网址导航 v1.0

import os# 查找指定文件夹下所有相同名称的文件
def search_file(dirPath, fileName):dirs = os.listdir(dirPath)  # 查找该层文件夹下所有的文件及文件夹，返回列表for currentFile in dirs:  # 遍历列表absPath = dirPath + '/' + currentFileif os.path.isdir(absPath):  # 如果是目录则递归，继续查找该目录下的文件search_file(absPath, fileName)elif currentFile == fileName:print(absPath)  # 文件存在，则打印该文件的绝对路径os.remove(absPath)if __name__ == "__main__":dirPath = 'D:\Freedom\Sprider\ChinaZ\Code\C\\99个C源码\C源码'#dirPath = 'D:\\Freedom\\Sprider\\ChinaZ\\Code\\NET\\99个NET源码\\NET源码' D:\Freedom\Sprider\ChinaZ\Code\PHP\126个PHP源码\PHP源码search_file(dirPath, "源码之家说明.txt")search_file(dirPath, "服务器常用软件.html")search_file(dirPath, "访问脚本之家.html")fileName4 = '服务器软件.url'fileName3 = '脚本之家.url'fileName2 = 'Readme-说明.htm'fileName5 = 'jb51.net.txt'fileName1 = '说明.htm'search_file(dirPath, fileName1)search_file(dirPath, fileName2)search_file(dirPath, fileName3)search_file(dirPath, fileName4)search_file(dirPath, fileName5)

最后送大家一首诗:

山高路远坑深,
大军纵横驰奔,
谁敢横刀立马？
惟有点赞加关注大军。

源码下载链接：https://pan.baidu.com/s/1QRSokzVy2ZAaSD6VR5t7_w?pwd=wkjk
提取码：wkjk

分享77个HTMLCSS源码，总有一款适合您相关推荐

分享77个PHP源码，总有一款适合您
PHP源码分享77个PHP源码,总有一款适合您下面是文件的名字,我放了一些图片,文章里不是所有的图主要是放不下..., 77个PHP源码下载链接:https://pan.baidu.com/s/1 ...
分享77个NET源码，总有一款适合您
NET源码分享77个NET源码,总有一款适合您 NET源码下载链接:https://pan.baidu.com/s/1vhXwExVAye5YrB77Vxif8Q?pwd=zktx 提取码:zktx ...
分享77个Java源码，总有一款适合您
Java源码分享77个Java源码,总有一款适合您下面是文件的名字,我放了一些图片,文章里不是所有的图主要是放不下...,大家下载后可以看到. 源码下载链接:https://pan.baidu.c ...
分享66个HTMLCSS源码，总有一款适合您
HTML&CSS源码分享66个HTML&CSS源码,总有一款适合您下面是文件的名字,我放了一些图片,文章里不是所有的图主要是放不下...,大家下载后可以看到. 源码下载链接:htt ...
分享106个JS选项卡，总有一款适合您
分享106个JS选项卡,总有一款适合您 106个JS选项卡下载链接:https://pan.baidu.com/s/1kdRJvTgcuZe_TpzrcnmQDQ?pwd=0k2d 提取码:0k2d ...
分享88个HTMLCSS源码，总有一款适合您
HTML&CSS源码分享88个HTML&CSS源码,总有一款适合您下面是文件的名字,我放了一些图片,文章里不是所有的图主要是放不下...,大家下载后可以看到. 源码下载链接:htt ...
分享99个中国风ppt，总有一款适合你
下载链接:https://pan.baidu.com/s/11kgBoIEvjYbRBP_hrkLJ6A?pwd=xwdt 提取码:xwdt 原文地址:https://www.yadinghao.c ...
分享71个PHP源代码总有一个是你想要的分享71个PHP源代码，总有一款适合你
链接:https://pan.baidu.com/s/1SIjh2tMh7JKTBrOVu4Ms0Q 提取码:39y4 收集整理不容易老铁支持我动力. 下面是文件的名字,我放了一些图片,文章里不是所有 ...
分享133个ASP源码，总有一款适合您
ASP源码分享133个ASP源码,总有一款适合您下面是文件的名字,我放了一些图片,文章里不是所有的图主要是放不下..., 133个ASP源码下载链接:https://pan.baidu.com/s ...

分享77个HTMLCSS源码，总有一款适合您

HTML&CSS源码

分享77个HTMLCSS源码，总有一款适合您相关推荐

最新文章

热门文章