Python爬虫51job职位

import urllib.request #请求
import re
import xlwt
import DBUtilsdef getContent(job,pag):hd = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/21"}url = "https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%s.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare="url = url%(job,pag)req = urllib.request.Request(url,headers=hd)page = urllib.request.urlopen(req).read().decode("gbk")# print(page)return pagedef getItem(page):pat = re.compile(r'"job_href":"(.*?)","job_name":"(.*?)".*?"company_href":"(.*?)","company_name":"(.*?)","providesalary_text":"(.*?)".*?"workarea_text":"(.*?)","updatedate":"(.*?)".*?"companytype_text":"(.*?)","degreefrom":"(.*?)".*?"attribute_text":(.*?),"companysize_text":"(.*?)","companyind_text":"(.*?)"')code = re.findall(pat, page)for i in range(0,len(code)):dis = dict(岗位详情=code[i][0],岗位名字=code[i][1],公司网址=code[i][2],公司名称 = code[i][3], 待遇 = code[i][4], 工作地点 = code[i][5],发布时间=code[i][6],公司类型=code[i][7],学历要求=code[i][8],招聘要求=code[i][9],公司规模=code[i][10],行业=code[i][11])code[i]=disreturn codedef saveExcel(result):wb = xlwt.Workbook()  # 创建工作表sheet = wb.add_sheet('51job')list_n = ['岗位详情','岗位名字','公司网址','公司名称','待遇','工作地点','发布时间','公司类型','学历要求','招聘要求','公司规模','行业']list_h = ['公司名称','公司网址','公司类型','公司规模','行业','工作地点','岗位名字','待遇','岗位详情','发布时间','学历要求','招聘要求']for row,str in enumerate(list_h):sheet.write(0, row, str)for i in range(0,len(result)):for n,inV in enumerate(list_h):sheet.write(i+1,n,result[i][inV])wb.save('51job.xlsx')def mySql(result):sqlk = "INSERT INTO tb_51job_copy(公司名称,公司网址,公司类型,公司规模,行业,工作地点,待遇,岗位名字,岗位详情,发布时间,学历要求,招聘要求) VALUES ('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s');"sql_list = []list_h = ['公司名称','公司网址','公司类型','公司规模','行业','工作地点','待遇','岗位名字','岗位详情','发布时间','学历要求','招聘要求']for i in range(0,len(result)):stm = []for inV in list_h:stm.append(result[i][inV])sql_list.append(sqlk%tuple(stm))# sql_list.append(tuple(stm))DBUtils.insertDataAMX(sql_list)# DBUtils.insertDataMany(sqlk,sql_list)# print(sql)def mySqlBeyound(result):sqlk = "INSERT INTO tb_51job_copy(公司名称,公司网址,公司类型,公司规模,行业,工作地点,待遇,岗位名字,岗位详情,发布时间,学历要求,招聘要求) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s);"sql_list = []list_h = ['公司名称','公司网址','公司类型','公司规模','行业','工作地点','待遇','岗位名字','岗位详情','发布时间','学历要求','招聘要求']for i in range(0,len(result)):stm = []for inV in list_h:stm.append(result[i][inV])# sql_list.append(sqlk%tuple(stm))sql_list.append(tuple(stm))# DBUtils.insertDataAMX(sql_list)DBUtils.insertDataMany(sqlk,sql_list)# print(sql)job = input("请输入查询职位")
pag = input("请输入查询页数")
lism = []
for i in range(1,int(pag)+1):loading = float(i)/float(pag)*100print(str(loading)+'%')page = getContent(job,i)code = getItem(page)lism.extend(code)
# saveExcel(lism)
# mySqlBeyound(lism)# sql = """
# INSERT INTO `tb_51job` VALUES ('中国电信股份有限公司上海分公司', 'https://jobs.51job.com/all/co5722264.html', '国企', '10000人以上', '通信/电信/网络设备', '上海-浦东新区', '高级JAVA开发工程师', 'https://jobs.51job.com/shanghai-pdxq/132215956.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-浦东新区\",\"3-4年经验\",\"本科\",\"招3人\"]', '通信/电信/网络设备');
# INSERT INTO `tb_51job` VALUES ('阿里巴巴集团', 'https://jobs.51job.com/all/co1991749.html', '上市公司', '10000人以上', '互联网/电子商务', '上海', '本地生活-JAVA后端专家-会员技术部', 'https://jobs.51job.com/shanghai/131410082.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海\",\"5-7年经验\",\"本科\",\"招若干人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('杭州海康威视数字技术股份有限公司', 'https://jobs.51job.com/all/co2546282.html', '上市公司', '10000人以上', '通信/电信/网络设备', '杭州-滨江区', '机器人-应用软件开发（Java）', 'https://jobs.51job.com/hangzhou-bjq/132198679.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"杭州-滨江区\",\"2年经验\",\"本科\",\"招1人\"]', '通信/电信/网络设备');
# INSERT INTO `tb_51job` VALUES ('富士康（南京）软件有限公司', 'https://jobs.51job.com/all/co2430353.html', '外资（非欧美）', '500-1000人', '计算机软件', '南京-浦口区', 'Java开发工程师', 'https://jobs.51job.com/nanjing-pkq/129465195.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"南京-浦口区\",\"1年经验\",\"本科\",\"招4人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('松下信息系統（上海）有限公司', 'https://jobs.51job.com/all/co3871738.html', '外资（非欧美）', '150-500人', '计算机软件', '无锡', 'Java开发工程师（国内）', 'https://jobs.51job.com/wuxi/131862335.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"无锡\",\"3-4年经验\",\"本科\",\"招1人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('上海恺英网络科技有限公司', 'https://jobs.51job.com/all/co2371207.html', '上市公司', '500-1000人', '网络游戏', '上海', '资深Java开发工程师', 'https://jobs.51job.com/shanghai/130729600.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海\",\"5-7年经验\",\"本科\",\"招1人\"]', '网络游戏');
# INSERT INTO `tb_51job` VALUES ('中软国际科技服务有限公司', 'https://jobs.51job.com/all/co2555714.html', '合资', '10000人以上', '计算机软件', '广州-天河区', 'Java高级开发工程师', 'https://jobs.51job.com/guangzhou-thq/132199101.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-天河区\",\"5-7年经验\",\"本科\",\"招10人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('同程艺龙', 'https://jobs.51job.com/all/co1527376.html', '上市公司', '10000人以上', '互联网/电子商务', '北京-朝阳区', 'Java高级开发工程师', 'https://jobs.51job.com/beijing-cyq/132190483.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"北京-朝阳区\",\"3-4年经验\",\"本科\",\"招3人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('诚迈科技（南京）股份有限公司', 'https://jobs.51job.com/all/co2553559.html', '外资（欧美）', '1000-5000人', '计算机软件', '南京-鼓楼区', 'Java开发工程师（南京）', 'https://jobs.51job.com/nanjing-glq/130954095.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"南京-鼓楼区\",\"无需经验\",\"大专\",\"招10人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('中电金信软件有限公司', 'https://jobs.51job.com/all/co5495397.html', '国企', '10000人以上', '计算机软件', '深圳-罗湖区', 'Java开发工程师', 'https://jobs.51job.com/shenzhen-lhq/132217219.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"深圳-罗湖区\",\"3-4年经验\",\"本科\",\"招4人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('武汉佰钧成技术有限责任公司', 'https://jobs.51job.com/all/co2471571.html', '民营公司', '10000人以上', '计算机软件', '武汉-江夏区', 'Java开发工程师', 'https://jobs.51job.com/wuhan-jxq/126901770.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"武汉-江夏区\",\"3-4年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('亿达信息技术有限公司', 'https://jobs.51job.com/all/co1465520.html', '民营公司', '1000-5000人', '计算机软件', '大连-高新园区', 'Java开发', 'https://jobs.51job.com/dalian-gxyq/130007458.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"大连-高新园区\",\"5-7年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('深圳市迷你玩科技有限公司', 'https://jobs.51job.com/all/co4617206.html', '民营公司', '500-1000人', '网络游戏', '深圳-南山区', '后端工程师(C++/JAVA/GO)', 'https://jobs.51job.com/shenzhen-nsq/132200685.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"深圳-南山区\",\"3-4年经验\",\"本科\",\"招6人\"]', '网络游戏');
# INSERT INTO `tb_51job` VALUES ('卓志供应链集团', 'https://jobs.51job.com/all/co2388743.html', '民营公司', '1000-5000人', '多元化业务集团公司', '广州-黄埔区', 'Java开发', 'https://jobs.51job.com/guangzhou-hpq/132197758.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-黄埔区\",\"2年经验\",\"本科\",\"招1人\"]', '多元化业务集团公司');
# INSERT INTO `tb_51job` VALUES ('力新仪器（上海）有限公司', 'https://jobs.51job.com/all/co1469.html', '外资（非欧美）', '500-1000人', '医疗设备/器械', '上海-青浦区', 'Java软件工程师', 'https://jobs.51job.com/shanghai-qpq/129381523.html?s=sou_sou_soulb&t=0', '05-25', '', '[\"上海-青浦区\",\"1年经验\",\"招若干人\"]', '医疗设备/器械');
# INSERT INTO `tb_51job` VALUES ('华新水泥技术管理（武汉）有限公司', 'https://jobs.51job.com/all/co5970940.html', '上市公司', '', '计算机软件', '武汉', 'Java高级开发工程师', 'https://jobs.51job.com/wuhan/123717728.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"武汉\",\"本科\",\"招若干人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('云南升玥信息技术有限公司', 'https://jobs.51job.com/all/co5779111.html', '民营公司', '50-150人', '计算机软件', '昆明-西山区', '高级Java工程师', 'https://jobs.51job.com/kunming-xsq/128804744.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"昆明-西山区\",\"8-9年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('石家庄科林电气股份有限公司', 'https://jobs.51job.com/all/co5354658.html', '上市公司', '1000-5000人', '电气/电力/水利', '石家庄', 'Java开发工程师', 'https://jobs.51job.com/shijiazhuang/125917187.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"石家庄\",\"无需经验\",\"本科\",\"招24人\"]', '电气/电力/水利');
# INSERT INTO `tb_51job` VALUES ('上海视畅信息科技有限公司', 'https://jobs.51job.com/all/co3067009.html', '民营公司', '50-150人', '互联网/电子商务', '上海-浦东新区', '微信开发工程师（java）', 'https://jobs.51job.com/shanghai-pdxq/118863578.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-浦东新区\",\"5-7年经验\",\"本科\",\"招2人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('重庆万泰建设（集团）有限公司', 'https://jobs.51job.com/all/co3048136.html', '民营公司', '1000-5000人', '建筑/建材/工程', '重庆-渝北区', 'Java高级开发工程师', 'https://jobs.51job.com/chongqing-ybq/128778520.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"重庆-渝北区\",\"5-7年经验\",\"本科\",\"招4人\"]', '建筑/建材/工程');
# INSERT INTO `tb_51job` VALUES ('上海舟恩信息技术有限公司', 'https://jobs.51job.com/all/co3400101.html', '民营公司', '150-500人', '互联网/电子商务', '重庆-渝中区', 'JAVA-外包长期项目-平安医保', 'https://jobs.51job.com/chongqing-yzq/132221097.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"重庆-渝中区\",\"3-4年经验\",\"大专\",\"招3人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('成都甲乙方程科技有限公司', 'https://jobs.51job.com/all/co4929608.html', '民营公司', '少于50人', '计算机软件', '成都-高新区', 'Java开发工程师', 'https://jobs.51job.com/chengdu-gxq/132221011.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"成都-高新区\",\"3-4年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('中科创达软件股份有限公司', 'https://jobs.51job.com/all/co2571248.html', '上市公司', '5000-10000人', '通信/电信/网络设备', '上海-浦东新区', 'Java开发工程师', 'https://jobs.51job.com/shanghai-pdxq/132220978.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"上海-浦东新区\",\"3-4年经验\",\"大专\",\"招5人\"]', '通信/电信/网络设备');
# INSERT INTO `tb_51job` VALUES ('深圳市网新新思软件有限公司', 'https://jobs.51job.com/all/co3749227.html', '上市公司', '1000-5000人', '计算机服务(系统、数据服务、维修)', '异地招聘', 'java中，高级工程师', 'https://jobs.51job.com/shenzhen-nsq/132220771.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"异地招聘\",\"3-4年经验\",\"本科\",\"招2人\"]', '计算机服务(系统、数据服务、维修)');
# INSERT INTO `tb_51job` VALUES ('上海申挚医疗科技有限公司', 'https://jobs.51job.com/all/co5482471.html', '民营公司', '50-150人', '计算机软件', '上海-虹口区', 'Java开发工程师', 'https://jobs.51job.com/shanghai-hkq/127723394.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-虹口区\",\"3-4年经验\",\"本科\",\"招5人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('卫盈联信息技术（深圳）有限公司', 'https://jobs.51job.com/all/co3288574.html', '外资（非欧美）', '500-1000人', '互联网/电子商务', '深圳-南山区', 'Java开发工程师', 'https://jobs.51job.com/shenzhen-nsq/132220710.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"深圳-南山区\",\"5-7年经验\",\"本科\",\"招5人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('广联达', 'https://jobs.51job.com/all/co2220020.html', '上市公司', '5000-10000人', '计算机软件', '北京-海淀区', 'java开发-新咨询 (MJ007003)', 'https://jobs.51job.com/beijing-hdq/132220672.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"北京-海淀区\",\"5-7年经验\",\"本科\",\"招1人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('广州惠天信息科技有限公司', 'https://jobs.51job.com/all/co3057862.html', '民营公司', '少于50人', '计算机软件', '广州-天河区', 'JAVA高级工程师', 'https://jobs.51job.com/guangzhou-thq/131957510.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-天河区\",\"3-4年经验\",\"本科\",\"招2人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('杭州望达科技有限公司', 'https://jobs.51job.com/all/co3702174.html', '民营公司', '50-150人', '计算机软件', '杭州-余杭区', 'JAVA工程师', 'https://jobs.51job.com/hangzhou-yhq/132206136.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"杭州-余杭区\",\"3-4年经验\",\"本科\",\"招20人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('汇专科技集团股份有限公司', 'https://jobs.51job.com/all/coVjYHZlE0AT1SNFY3UTc.html', '民营公司', '1000-5000人', '机械/设备/重工', '广州-黄埔区', 'JAVA 开发工程师', 'https://jobs.51job.com/guangzhou-hpq/132167687.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-黄埔区\",\"5-7年经验\",\"本科\",\"招1人\"]', '机械/设备/重工');
# INSERT INTO `tb_51job` VALUES ('湖南华声云科技有限公司', 'https://jobs.51job.com/all/co5593873.html', '合资', '少于50人', '互联网/电子商务', '长沙-开福区', 'Java高级开发工程师', 'https://jobs.51job.com/changsha-kfq/123833515.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"长沙-开福区\",\"3-4年经验\",\"本科\",\"招若干人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('上海恩梯梯数据晋恒软件有限公司', 'https://jobs.51job.com/all/co1505344.html', '合资', '150-500人', '计算机软件', '上海-浦东新区', 'Java（偏架构）', 'https://jobs.51job.com/shanghai-pdxq/130777894.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-浦东新区\",\"5-7年经验\",\"本科\",\"招1人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('诚伯信息有限公司', 'https://jobs.51job.com/all/co2290069.html', '民营公司', '5000-10000人', '通信/电信运营、增值服务', '广州-天河区', 'Java开发工程师', 'https://jobs.51job.com/guangzhou-thq/129008791.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-天河区\",\"3-4年经验\",\"本科\",\"招若干人\"]', '通信/电信运营、增值服务');
# INSERT INTO `tb_51job` VALUES ('上海携宁计算机科技股份有限公司', 'https://jobs.51job.com/all/co366934.html', '上市公司', '500-1000人', '计算机软件', '上海-徐汇区', '初级JAVA工程师-上海', 'https://jobs.51job.com/shanghai-xhq/132220294.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-徐汇区\",\"1年经验\",\"本科\",\"招1人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('无锡云鹊科技有限公司', 'https://jobs.51job.com/all/co5130980.html', '民营公司', '少于50人', '计算机软件', '无锡-无锡新区', 'Java高级研发工程师', 'https://jobs.51job.com/wuxi-wxxq/104708982.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"无锡-无锡新区\",\"5-7年经验\",\"本科\",\"招若干人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('杭州德创电子股份有限公司', 'https://jobs.51job.com/all/co2510843.html', '民营公司', '50-150人', '仪器仪表/工业自动化', '杭州', 'Java后端开发工程师', 'https://jobs.51job.com/hangzhou/132219989.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"杭州\",\"5-7年经验\",\"本科\",\"招2人\"]', '仪器仪表/工业自动化');
# INSERT INTO `tb_51job` VALUES ('深圳市缔盟软件有限公司', 'https://jobs.51job.com/all/coVjYHZwJpAjsFZlQzB2U.html', '民营公司', '少于50人', '计算机软件', '深圳-南山区', 'Java开发工程师', 'https://jobs.51job.com/shenzhen-nsq/132219670.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"深圳-南山区\",\"2年经验\",\"本科\",\"招5人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('点石瑞凯（上海）金融信息服务有限公司', 'https://jobs.51job.com/all/co3736226.html', '民营公司', '50-150人', '计算机软件', '上海-黄浦区', 'Java-金融软件开发工程师', 'https://jobs.51job.com/shanghai-hpq/132219926.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-黄浦区\",\"1年经验\",\"本科\",\"招若干人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('亚信科技CTC', 'https://jobs.51job.com/all/co3972924.html', '合资', '10000人以上', '计算机软件', '济南', 'Java开发工程师', 'https://jobs.51job.com/jinan/132214896.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"济南\",\"3-4年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('济南扬旗信息技术有限公司', 'https://jobs.51job.com/all/co3289368.html', '民营公司', '少于50人', '计算机软件', '济南-历下区', 'Java开发工程师', 'https://jobs.51job.com/jinan-lxq/129562600.html?s=sou_sou_soulb&t=0', '05-25', '', '[\"济南-历下区\",\"1年经验\",\"招4人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('维恩贝特科技有限公司', 'https://jobs.51job.com/all/co2306491.html', '民营公司', '500-1000人', '计算机软件', '深圳-福田区', 'Java中级开发工程师', 'https://jobs.51job.com/shenzhen-ftq/132219828.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"深圳-福田区\",\"5-7年经验\",\"大专\",\"招若干人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('江苏童讯科技有限公司', 'https://jobs.51job.com/all/co3770018.html', '民营公司', '50-150人', '互联网/电子商务', '苏州-吴中区', 'Java开发工程师', 'https://jobs.51job.com/suzhou-wzq/119666058.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"苏州-吴中区\",\"2年经验\",\"本科\",\"招1人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('浙江金安公共安全技术有限公司', 'https://jobs.51job.com/all/coBmYAYANmUWdSNQJpBmA.html', '民营公司', '少于50人', '计算机服务(系统、数据服务、维修)', '宁波-高新区', 'Java高级开发工程师', 'https://jobs.51job.com/ningbo-gx/130767208.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"宁波-高新区\",\"3-4年经验\",\"大专\",\"招若干人\"]', '计算机服务(系统、数据服务、维修)');
# INSERT INTO `tb_51job` VALUES ('武汉梦飞翔科技有限公司', 'https://jobs.51job.com/all/co5107475.html', '民营公司', '少于50人', '计算机软件', '武汉-洪山区', 'java开发', 'https://jobs.51job.com/wuhan-hsq/125260154.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"武汉-洪山区\",\"2年经验\",\"大专\",\"招4人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('广州新赫铖宇信息科技有限公司', 'https://jobs.51job.com/all/co5745824.html', '民营公司', '50-150人', '计算机服务(系统、数据服务、维修)', '广州-黄埔区', '中级Java开发工程师', 'https://jobs.51job.com/guangzhou-hpq/129064249.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"广州-黄埔区\",\"3-4年经验\",\"本科\",\"招3人\"]', '计算机服务(系统、数据服务、维修)');
# INSERT INTO `tb_51job` VALUES ('上海华钦信息科技股份有限公司', 'https://jobs.51job.com/all/co5395657.html', '上市公司', '1000-5000人', '计算机软件', '上海', 'Java高级开发工程师', 'https://jobs.51job.com/shanghai/132094621.html?s=sou_sou_soulb&t=0', '05-25', '5', '[\"上海\",\"5-7年经验\",\"大专\",\"招2人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('东方口岸科技有限公司', 'https://jobs.51job.com/all/co352526.html', '国企', '150-500人', '计算机软件', '北京-海淀区', 'Java中级开发工程师', 'https://jobs.51job.com/beijing-hdq/130550939.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"北京-海淀区\",\"3-4年经验\",\"本科\",\"招3人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('唯易智能科技（南京）有限公司', 'https://jobs.51job.com/all/co4331750.html', '民营公司', '50-150人', '互联网/电子商务', '南京-秦淮区', 'Java开发-工程师/急聘', 'https://jobs.51job.com/nanjing-qhq/88277897.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"南京-秦淮区\",\"2年经验\",\"本科\",\"招10人\"]', '互联网/电子商务');
# INSERT INTO `tb_51job` VALUES ('上海冠能信息科技有限公司', 'https://jobs.51job.com/all/co4252741.html', '民营公司', '少于50人', '计算机软件', '上海-杨浦区', 'Java高级软件开发工程师', 'https://jobs.51job.com/shanghai-ypq/122517713.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海-杨浦区\",\"1年经验\",\"本科\",\"招2人\"]', '计算机软件');
# INSERT INTO `tb_51job` VALUES ('陕西谢华科技有限公司', 'https://jobs.51job.com/all/co3652802.html', '民营公司', '少于50人', '计算机服务(系统、数据服务、维修)', '西安-新城区', 'Java开发工程师', 'https://jobs.51job.com/xian-xcq/123063703.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"西安-新城区\",\"5-7年经验\",\"本科\",\"招5人\"]', '计算机服务(系统、数据服务、维修)');
# """
# DBUtils.insertData("INSERT INTO `tb_51job` VALUES ('阿里巴巴集团', 'https://jobs.51job.com/all/co1991749.html', '上市公司', '10000人以上', '互联网/电子商务', '上海', '本地生活-JAVA后端专家-会员技术部', 'https://jobs.51job.com/shanghai/131410082.html?s=sou_sou_soulb&t=0', '05-25', '6', '[\"上海\",\"5-7年经验\",\"本科\",\"招若干人\"]', '互联网/电子商务');")

Python爬虫51job职位相关推荐

python爬虫可视化web展示_基于Python爬虫的职位信息数据分析和可视化系统实现
1. 引言在这个新时代,人们根据现有的职位信息数据分析系统得到的职位信息越来越碎片化,面对收集到的大量的职位信息数据难以迅速地筛选出对自己最有帮助的职位信息,又或者筛选出信息后不能直观地看到数据的特 ...
python爬虫拉勾网职位信息
学习爬虫时看的是几年前的教程,那个教程是举的一个例子就是爬取拉勾网的职位信息,但是由于这几年的反爬技术提高,拉勾网已经不能按照以前那么简单的爬了,研究了一下,终于可以爬到拉钩网的数据了. 首先我们打开 ...
Python爬虫--51job爬取岗位信息并写入txt文件
有借鉴有修改 """ user:long """ import re import time from bs4 import Beautif ...
Python爬虫要学多久
Python爬虫要学三个月到半年. 自学的话,根据每个人的情况来说,学习周期是不同的,如果没有任何基础,零基础小白进行Python学习的话,需要先进行简单的Python基础知识学习,就需要三个月左右的 ...
Python Scrapy爬虫框架爬取51job职位信息并保存至数据库
Python Scrapy爬虫框架爬取51job职位信息并保存至数据库 -------------------------------- 版权声明:本文为CSDN博主「杠精运动员」的原创文章,遵循CC ...
python爬虫之51job工作搜索
简介大多数情况下我们通过urllib2等模块可以对单纯的html进行爬取分析,但是当我们遇到的页面是js渲染的,我们需要去分析一个一个后台的请求,这就太蛋疼了.若我们使用像浏览器一样的工具来处理 ...
python爬虫之搜索51job并存入mysql数据库
简介在python爬虫之51job工作搜索我们只是通过python函数将其简单打印,在此我们将其进行封装成类,打印并写入mysql数据库中. 因此我们首先需要设计mysql的库和表结构,在此我们只用 ...
Python爬虫，爬取51job上有关大数据的招聘信息
Python爬虫,爬取51job上有关大数据的招聘信息爬虫初学者,练手实战最近在上数据收集课,分享一些代码. 分析所要爬取的网址 https://search.51job.com/list/000 ...
利用Python爬虫获取招聘网站职位信息
当你学会使用Python爬虫之后就会发现想要得到某些数据再也不用自己费力的去寻找,今天小千就给大家介绍一个很实用的爬虫案例,获取Boss直聘上面的招聘信息,同学们一起来学习一下了. Boss直聘爬虫案 ...

Python爬虫51job职位

Python爬虫51job职位相关推荐

最新文章

热门文章