SAE 部署 bilibili 爬虫

2024-04-21 23:20:47

layout: post
title: sae部署bilibili爬虫
categories: python
tags: spider sae

前端效果

sae准备工作

从本地上传的爬虫到sae一直被提示没有requests模块，在requirements.txt里声明了也不行。起初我以为是这个第三方包被屏蔽了，直到看到sae支持中心-Python共享服务器-运行环境才直到原因：requirements.txt 只在容器云app里面才会生效，同理 runtime.txt 也是。因此需要在共享服务器上面使用第三方包的话，只能自己上传。我通过 ubantu python 2.7.6 使用pip install -t vendor requests安装上 requests 包，再将这个文件夹上传到 sae 根目录就可以使用了。因为涉及到我自己账号的 cookie，这里我使用的是码云私有仓库保存我的代码，不再贴出。

bilibili-Getcoin

B站只要登录一下就可以获得当日的一硬币，在爬虫界这算是非常简单的了。我之前尝试用国外的某ae来爬B站，得到503错误（403？），国外访问B站是要梯子的。
code:

# -*- coding: utf-8 -*-
"""
requests学习实战
"""
import requests
url = 'https://account.bilibili.com/site/getCoin'headers = {}
cookies = {}
with requests.Session() as s:
r = s.get(url,headers=headers,cookies=cookies)
print r.status_code
bjson = r.json()
#print bjson.keys()
print bjson[u'data'] print 'over!'

以上。

2018/9/3 更新

cookies 需要每月更新。本月更新后无法获取硬币了，对比之前的cookies，发现本次更新后多出一个_jct键。现在删除后等待观察明天的结果。

结果仍然是不能获取。

转载于:https://www.cnblogs.com/aubucuo/p/spider6.html

SAE 部署 bilibili 爬虫相关推荐

新浪sae部署微信订阅号
利用新浪sae部署python开发微信订阅号登录新浪sae网站,用微博帐号登录或者注册帐号http://www.sinacloud.com/选择左上角控制台的云应用sae 选择创建新应用按照要求创建 ...
微信开发实战（4）—URL、Token认证、java源码、免费新浪SAE部署
上篇文章概要介绍了微信公众号开发的原理,偏重于讲解理论. 本篇文章通过java web应用实现微信公众号的URL.Token认证.并部署到免费的新浪SAE服务器上,轻松教你实现公众号成为开发者号. 一 ...
Python爬虫总结——Scrapy+Gerapy部署网络爬虫
Python爬虫总结--从基础爬虫到Scrapy+Gerapy部署网络爬虫前言一.常用pip模块介绍 1.NumPy库 2.Pandas库 3.Requests库 4.BeautifulSoup库 ...
linux 部署proxy_pool爬虫代理池
linux 部署proxy_pool爬虫代理池文章目录 linux 部署proxy_pool爬虫代理池一.介绍二.准备工作 1.更换清华镜像源 2.安装Redis 3.安装python 三.在L ...
python用什么运行环境_使用SAE部署Python运行环境的教程
因为 GAE 在国内访问不便,所以平时有一些小应用,我都会放在 SAE 上面, 虽然 SAE 还有很多缺陷,但算是上手比较容易的一个了,最起码文档写的不错. 开发 SAE 上的应用,我一般都用 Fla ...
新浪sae部署html,利用新浪sae搭建discuz x2论坛
开始建站有一个月了,用了很多免费空间,比如0fees,zymic,simplefreeweb等等,0fees和zymic不支持discuz,最终选择了000webhost的免费空间,各方面还不错,可是 ...
部署scrapy爬虫
pip install scrapyd 1.新建文件夹,用来放之后的项目文件在部署的项目文件夹里开启一个服务 cmd管理员运行: spiderd 默认的访问地址是 http://localhost ...
新浪云python示例_新浪SAE部署python项目
SAE实际上就是个多节点的虚拟主机,跟云主机差不多,只不过SAE的节点比一般的云主机要多,把网站程序布署在SAE上比自己用独立的服务器稳定性和性能要高很多.将自己用python开发的博客项目放在SAE ...
Linux使用Maven部署SpiderFlow爬虫平台
Spider-Flow平台以流程图的方式定义爬虫,无需再编码爬虫,是一个高度灵活可配置的爬虫平台源代码:https://github.com/ssssssss-team/spider-flow 基础 ...

最新文章

热门文章