python如何爬取sci论文_利用python爬取并翻译GEO数据库

GEO数据库是NCBI创建并维护的基因表达数据库，始于2000年，收录了世界各国研究机构提交的高通量基因表达数据，现芯片集数据量高达12万以上。想要从这里面挖掘（bai piao）数据，发个sci提前毕业升职称？那么第一步就是筛选自己所需要的芯片集。

我采用的方法是利用python，爬取相关芯片集，翻译并整理成本地文件。（自带翻译心动吗？）

为什么要用python？因为人生苦短！对于我们这些非编程专业的人，python是极易上手的语言之一。其简洁的编程风格，深受小白们的喜欢。个人认为python的学习时间成本很低，只需要短短几周甚至几天，即可打造属于自己的定制爬虫。

那么，下面我们正式开始python爬取之旅！（python安装请自行百度）

第1步，在GEO进行初步检索。

我们检索“obesity”这个关键词，发现有1432个芯片集。我比较推荐数量在200到2000之间，这样既能保证数据足够，又避免审核过多芯片集会造成时间浪费。如果芯片集过多，可限定检索条件，如年份、组织、研究类型等。芯片集过少，可放宽检索条件或增加关联的关键词。

第2步，将每页显示调为500条芯片集，查看网页源代码并将所有代码保存到txt文件。

如果有多页，则需要一页一页点开，并将所有代码复制到同一txt文件中。这样子我们的芯片集数据就收集完毕了。当然，python也能实现自动收集，不过个人认为编写该部分爬虫比较麻烦，还不如手动更便捷。

第3步，确定芯片集内容。

我们点开一个芯片集，里面有哪些信息我师们需要的呢？Title、Organism、Summary等等。查看网页源代码，我们发现这些内容都有统一的编写格式。那么，我们就可以编写爬虫，逐一提取里面的信息。好了，前期准备完成了！下面我们开始愉悦的python开发。（python的安装与入门可参考：www.runoob.com）

第4步，利用python爬虫获取芯片集。

简单来说，就是获取txt文件中，带有’GSEXXXX’的芯片集序号。

第5步，编写循环体，用python爬虫逐一爬取芯片集内容。

main函数就是我们爬虫的主体

第6步，python爬虫。

我们根据所需要的芯片集内容，用不同的正则表达式爬取。

第7步，最令人期待的——自动翻译。

我们可以在百度翻译平台，申请开发者账号和通用翻译api，获得相关id和密匙，这样就可以调用翻译功能（附件有api接口代码）。关键是全程免费！免费！

第8步，保存到excel，完美收工。

看看这庞大数据，看看这熟悉的文字，是不是感到热泪盈眶？ヽ(✿ﾟ▽ﾟ)ノ

个人心得：

①根据本人研究内容，我一般将Organism限定为Mus musculus 和Homo sapiens，减少无用芯片集。

②芯片集以Samples降序排序，优先挑选样本量大的芯片集，服用效果更好。

③目前我编写的爬虫，已实现断点爬取、随机IP、循环下载、自动关机等优化功能。因篇幅限制就不一一叙述。有兴趣的老铁可自行研究更有趣的功能。欢迎各种学习交流！

放源代码和动版的信息：链接：https://pan.baidu.com/s/1pMe3iCjWuCl6dUoU-PzldA 提取码：xlg1

python如何爬取sci论文_利用python爬取并翻译GEO数据库相关推荐

python如何爬取sci论文_通过爬虫确定SCI期刊的发表周期
众所周知,SCI发表周期较长,从投稿到见刊时间跨度超过2年也不罕见,如果运气不好,文章投出去石沉大海,用几个月的时间等来一封拒稿信,很可能会影响到博士毕业或职称评选.因此,为了尽量避免漫长的等待过程, ...
python爬去百度文库_利用Python语言轻松爬取数据[精品文档]
利用 Python 语言轻松爬取数据对于小白来说,爬虫可能是一件非常复杂. 技术门槛很高的事情. 比如有人认为学爬虫必须精通 Python ,然后哼哧哼哧系统学习 Python 的每个知识点,很久之 ...
python爬取百度文库_利用Python语言轻松爬取数据
利用 Python 语言轻松爬取数据对于小白来说,爬虫可能是一件非常复杂. 技术门槛很高的事情. 比如有人认为学爬虫必须精通 Python ,然后哼哧哼哧系统学习 Python 的每个知识点,很久之 ...
python爬取网易云_利用python爬取网易云音乐，并把数据存入mysql
作者:sergiojune Python爱好者社区--专栏作者个人公众号:日常学python 专注python爬虫,数据可视化,数据分析,python前端技术公众号:Python爱好者社区获取本 ...
java爬取网页数据_利用Python做数据分析—对前程无忧数据类岗位进行分析
引言随着时代的发展,我国在各行各业都需要大量的人才引进,处于近几年最热门的行业也称"最火行业":大数据.数据分析.数据挖掘.机器学习.人工智能,这五门行业各有不同又互有穿插.近几 ...
python爬去朋友圈_利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...
python爬取软件数据_利用Python爬取爬取APP上面的数据
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置下载Fidder软件地址:https:// ...
python爬朋友圈数据_利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...
python抓取数据包_利用python-pypcap抓取带VLAN标签的数据包方法
1.背景介绍在采用通常的socket抓包方式下,操作系统会自动将收到包的VLAN信息剥离,导致上层应用收到的包不会含有VLAN标签信息.而libpcap虽然是基于socket实现抓包,但在收到数据包 ...

python如何爬取sci论文_利用python爬取并翻译GEO数据库

python如何爬取sci论文_利用python爬取并翻译GEO数据库相关推荐

最新文章

热门文章