因为新浪微博网页版爬虫比较困难，故采取用手机网页端爬取的方式

操作步骤如下：

1. 网页版登陆新浪微博

2.打开m.weibo.cn

3.查找自己感兴趣的话题，获取对应的数据接口链接

4.获取cookies和headers

# -*- coding: utf-8 -*-

import requests

import csv

import os

base_url = 'https://m.weibo.cn/api/comments/show?id=4131150395559419&page={page}'

cookies = {'Cookie':'xxx'}

headers = {'User-Agent':'xxx'}

path = os.getcwd()+"/weibo.csv"

csvfile = open(path, 'a+', encoding='utf-8',newline='')

writer = csv.writer(csvfile)

writer.writerow(('username','source','comment'))

for i in range(0,83):

try:

url = base_url.format(page=i)

resp = requests.get(url, headers=headers, cookies=cookies)

jsondata = resp.json()

data = jsondata.get('data')

for d in data:

created_at = d.get("created_at")

source = d.get("source")

username = d.get("user").get("screen_name")

comment = d.get("text")

print((username,source,comment))

writer.writerow((username, source, comment))

except:

print('*'*1000)

pass

csvfile.close()

至于爬出来的数据有非中文的数据，要提取中文请参考：筛选出一段文字中的中文

未完待续。。。。

Python：将爬取的网页数据写入Excel文件中

Python:将爬取的网页数据写入Excel文件中 通过网络爬虫爬取信息后,我们一般是将内容存入txt文件或者数据库中,也可以写入Excel文件中,这里介绍关于使用Excel文件保存爬取到的网页数据的 ...

Python学习笔记之将数据写入到文件中

10-3 访客:编写一个程序,提示用户输入其名字:用户作出响应后,将其名字写入到文件guest.txt 中. 编写Python代码: username = input("Please ent ...

利用Python爬取朋友圈数据，爬到你开始怀疑人生

人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...

C# 将List中的数据导入csv文件中

//http://www.cnblogs.com/mingmingruyuedlut/archive/2013/01/20/2849906.html C# 将List中的数据导入csv文件中   将数 ...

PHP将数据写入指定文件中

首先创建一个空的txt文件,这里我们创建了一个1.txt的空文件. 第一种方法:fwrite函数 <?php $file=fopen('1.txt','rb+'); var_dump(fwrit ...

票房和口碑称霸国庆档，用 Python 爬取猫眼评论区看看电影《我和我的家乡》到底有多牛

今年的国庆档电影市场的表现还是比较强势的,两名主力和起到了很好的带头作用. 首日破 2 亿,一举刷新由

Python爬取招聘网站数据，给学习、求职一点参考

1.项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大.因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于 ...

python 将json格式的数据写入csv格式的文件中

# coding=utf-8 import json import csv # 重新进行配置读写数据时的默认编码 import sys reload(sys) sys.setdefaultencodi ...

一个简易的Python爬虫，将爬取到的数据写入txt文档中

代码如下: import requests import re import os #url url = "http://wiki.akbfun48.com/index.php?title= ...

随机推荐

从外部浏览开启app

先描述一下需求:从浏览器中点击某个按钮,如果手机上装有相应的app,则直接开启app,并且到相对的页面.如果没有装该app,则会到相应的下载app的界面. 我这里主要用的是第三方的东西,就是魔窗中的m ...

Android动画学习&lpar;二&rpar;——Tween Animation

前两天写过一篇Android动画学习的概述,大致的划分了下Android Animation的主要分类,没有看过的同学请移步:Android动画学习(一)——Android动画系统框架简介.今天接着来 ...

Oracle11g 配置 ST&lowbar;GEOMETRY

安装环境:ArcGIS Desktop10.2.1 .ArcSDE10.2.134940. Oracle11.2.0.1 操作系统:Windows Server 2012R2 DataCenter 安 ...

des &lpar;C语言&rpar;

/** * \file des.h * * \brief DES block cipher * * Copyright (C) 2006-2010, Brainspark B.V. * * This ...

【DP】POJ 2385

题意:又是Bessie 这头牛在折腾,这回他喜欢吃苹果,于是在两棵苹果树下等着接苹果,但苹果不能落地后再接,吃的时间不算,假设他能拿得下所有苹果,但是这头牛太懒了[POJ另一道题目说它是头勤奋的奶牛, ...

2016湖大校赛 L题 The Sequence likes Ladder

题意:S1=a,Sn=a*(Sn-1)^k%m,且有(a,m)=1,给出i,求Si. 思路:首先我们可以写出Sn的通项a^(1+k+k^2+...k^n-1);其次注意到m的范围是10000以内,所以 ...

UIKit&&num;160&semi;框架之UICollectionViewController

1.自定义单元格 #import @interface myCollectionViewCell : UICollectionViewCell @prope ...

php foreach 使用&amp&semi;&lpar;与运算符&rpar;引用赋值要注意的问题

首先了解一下“引用赋值”,看一个例子: <?php <?php $a=123; $a=123; $b=$a; $b=&$a; $a=321; $a=321; echo"$ ...

ubuntu14&period;04 制作U盘启动文件

1.制作U盘启动文件 网上搜索:U盘安装Ubuntu 12.10 图文教程(ultraiso) http://www.jb51.net/os/94398.html 2. 重启,按Del(或F2)进BI ...

view import symbols

nm -D [file]|grep -w U or objdump -T [file]|grep "*UND*"