最近爬虫使用时出现警告！！！

原因是Exce表限制URL类型数据量为65530,超出的部分会被舍弃。

导致url 数据缺失。

解决方法：

将strings_to_urls自动转换功能关闭即可。

原代码：

# 保存信息data = pd.DataFrame(columns=['行业类型', '职位', '职位详情连接', '薪资', '经验要求', '学历要求', '工作性质', '到岗', '招聘人数', '年龄要求', '性别要求', '婚姻要求', '城市', '职位详情', '发布时间', '公司名称', '公司详情页', '公司类型', '公司性质', '所在地区', '公司规模', '公司简介'])for item in lists:data.loc[len(data)] = [item[0], item[1], item[2], item[3], item[4], item[5], item[6], item[7],item[8],item[9], item[10], item[11], item[12], item[13], item[14], item[15],item[16],item[17], item[18], item[19], item[20], item[21]]data.to_excel(r'D:\（测试）.xlsx')

修改后的代码：

# 保存信息
data = pd.DataFrame(columns=['行业类型', '职位', '职位详情连接', '薪资', '经验要求', '学历要求', '工作性质', '到岗', '招聘人数', '年龄要求', '性别要求', '婚姻要求', '城市', '职位详情', '发布时间', '公司名称', '公司详情页', '公司类型', '公司性质', '所在地区', '公司规模', '公司简介'])
for item in lists:data.loc[len(data)] = [item[0], item[1], item[2], item[3], item[4], item[5], item[6], item[7],item[8],item[9], item[10], item[11], item[12], item[13], item[14], item[15],item[16],item[17], item[18], item[19], item[20], item[21]]with pd.ExcelWriter(r'D:\（测试）.xlsx', engine='xlsxwriter', options={'strings_to_urls': False}) as writer:data.to_excel(writer, index=False)

UserWarning: Ignoring URL ‘xxx‘ since it exceeds Excel‘s limit of 65,530 URLS per worksheet.相关推荐

Pandas 写入excel报错UserWarning: Ignoring URL
报错如下: UserWarning: Ignoring URL..................................................with link or locati ...
TortoiseSVN Unable to connect to a repository at URL XXX
在Checkout资源库时,出现如下错误: Unable toconnectto a repositoryat URL XXX Error Unable to connect to a reposit ...
WebService工具类调用远程接口服务时java.io.IOException: Server returned HTTP response code: 500 for URL XXX
问题描述:在本地测试时,使用个人封装的Webservice代码工具类调用远程接口服务时,一切正常.但是一旦将该代码放到一个已有项目的中使用时,就会出现如下所示的错误提示 java.io.IOExcep ...
Springboot关于 Circular view path [xxx]: would dispatch back to the current handler URL [xxx] again
Springboot关于 Circular view path [xxx]: would dispatch back to the current handler URL [xxx] again报错问 ...
.net连接DB2的异常SQL0666 - SQL query exceeds specified time limit or storage limit.错误处理
SQL0666 - SQL query exceeds specified time limit or storage limit. 原因:查询超时解决办法: set the DbCommand.C ...
entrypoint size limit: The following entrypoint(s) combined asset size exceeds the recommended limit
webpack打包提示文件体积过大导致 The following asset(s) exceed the recommended size limit (244 KiB). This can imp ...
The following entrypoint(s) combined asset size exceeds the recommended limit (244 KiB).
笔者遇到的问题是:vue项目部署成功,也能访问,唯独就是界面加载不出来,通过logs日志:tail error.log命令,打印出:说一部分js.css文案not found****,笔者cd到项目目 ...
webpack打包时提示：The following entrypoint(s) combined asset size exceeds the recommended limit
如果webpack打包时提示:The following entrypoint(s) combined asset size exceeds the recommended limit,可以设置 &q ...
git错误：exceeds file size limit of 100.0 MB remote: error: hook declined to update refs/heads/master
今天在git上提交了一个大于100M的文件,结果发现报错如下: remote: warning: Large files detected. remote: error: File a/b/c is ...

UserWarning: Ignoring URL ‘xxx‘ since it exceeds Excel‘s limit of 65,530 URLS per worksheet.

最近爬虫使用时出现警告！！！

原因是Exce表限制URL类型数据量为65530,超出的部分会被舍弃。

导致url 数据缺失。

解决方法：

原代码：

修改后的代码：

UserWarning: Ignoring URL ‘xxx‘ since it exceeds Excel‘s limit of 65,530 URLS per worksheet.相关推荐

最新文章

热门文章