您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

利用python爬取并翻译GEO数据库

时间:2020-05-15 12:52:59  来源:  作者:

GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上。想要从这里面挖掘(bai piao)数据,发个sci提前毕业升职称?那么第一步就是筛选自己所需要的芯片集。

我采用的方法是利用Python,爬取相关芯片集,翻译并整理成本地文件。(自带翻译心动吗?)

为什么要用python?因为人生苦短!对于我们这些非编程专业的人,python是极易上手的语言之一。其简洁的编程风格,深受小白们的喜欢。个人认为python的学习时间成本很低,只需要短短几周甚至几天,即可打造属于自己的定制爬虫。

那么,下面我们正式开始python爬取之旅!(python安装请自行百度)

第1步,在GEO进行初步检索。

我们检索“obesity”这个关键词,发现有1432个芯片集。我比较推荐数量在200到2000之间,这样既能保证数据足够,又避免审核过多芯片集会造成时间浪费。如果芯片集过多,可限定检索条件,如年份、组织、研究类型等。芯片集过少,可放宽检索条件或增加关联的关键词。

第2步,将每页显示调为500条芯片集,查看网页源代码并将所有代码保存到txt文件。

如果有多页,则需要一页一页点开,并将所有代码复制到同一txt文件中。这样子我们的芯片集数据就收集完毕了。当然,python也能实现自动收集,不过个人认为编写该部分爬虫比较麻烦,还不如手动更便捷。

第3步,确定芯片集内容。

我们点开一个芯片集,里面有哪些信息我师们需要的呢?Title、Organism、Summary等等。查看网页源代码,我们发现这些内容都有统一的编写格式。那么,我们就可以编写爬虫,逐一提取里面的信息。好了,前期准备完成了!下面我们开始愉悦的python开发。(python的安装与入门可参考:www.runoob.com)

第4步,利用python爬虫获取芯片集。

简单来说,就是获取txt文件中,带有’GSEXXXX’的芯片集序号。

第5步,编写循环体,用python爬虫逐一爬取芯片集内容。

main函数就是我们爬虫的主体

第6步,python爬虫。

我们根据所需要的芯片集内容,用不同的正则表达式爬取。

第7步,最令人期待的——自动翻译。

我们可以在百度翻译平台,申请开发者账号和通用翻译api,获得相关id和密匙,这样就可以调用翻译功能(附件有api接口代码)。关键是全程免费!免费!

第8步,保存到Excel,完美收工。

看看这庞大数据,看看这熟悉的文字,是不是感到热泪盈眶?ヽ(✿゚▽゚)ノ

个人心得:

①根据本人研究内容,我一般将Organism限定为Mus musculus 和Homo sapiens,减少无用芯片集。

②芯片集以Samples降序排序,优先挑选样本量大的芯片集,服用效果更好。

③目前我编写的爬虫,已实现断点爬取、随机IP、循环下载、自动关机等优化功能。因篇幅限制就不一一叙述。有兴趣的老铁可自行研究更有趣的功能。欢迎各种学习交流!

放源代码和动版的信息:

链接: https://pan.baidu.com/s/1RxqD96_2BVogk9jG3vQTnw

提取码: ht66



Tags:python 数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
1. 场景描述python环境下需要从greenplum/postgresql中,获取算法执行的数据,但是从数据库中查询出来是数组格式的,算法无法使用,需要转换为dataframe格式。2. 解决方案结合第三...【详细内容】
2020-09-17  Tags: python 数据库  点击:(81)  评论:(0)  加入收藏
GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上。想要从这里面挖掘(bai piao)数据,发个sci...【详细内容】
2020-05-15  Tags: python 数据库  点击:(84)  评论:(0)  加入收藏
之前我们在很多项目案例中都使用了MySQL数据库。有的同学问:MySQL安装和配置太麻烦了,老是搞不定,有没有更简便的方法?当然有咯!Python内置的sqlite3模块就是一个轻量级的数据库...【详细内容】
2020-05-05  Tags: python 数据库  点击:(53)  评论:(0)  加入收藏
Python是一种计算机程序设计语言,它是一种动态的、面向对象的脚本语言。它是一种跨平台的,可以运行在 Windows,Mac和 Linux/Unix系统上。在日常使用中需要对大量数据进行数据分...【详细内容】
2019-05-16  Tags: python 数据库  点击:(554)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(8)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条