您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python开发必备:如何建立一个完美的项目工程环境

时间:2021-03-10 10:37:11  来源:今日头条  作者:虫虫安全

在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python/ target=_blank class=infotextkey>Python为例,教大家如何快速打造完美的Python项目开发环境:内容涵盖了模块依赖管理、代码风格管理、调试测试管理和Git版本管理,使用git hook做项目规范检查等。

pipx

Python开发必备:如何建立一个完美的项目工程环境

 

Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在 linuxmac OS 和 windows 上运行。Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本:

python3 -m pip install --user pipx
python3 -m pipx ensurepath

升级Pipx使用:

python3 -m pip install -U pipx

包依赖管理pipenv

Python开发必备:如何建立一个完美的项目工程环境

 

Pipenv会自动为你的项目创建和管理虚拟环境,以pipfile文件方式方式管理项目的依赖包,支持包的安装和卸载。和requirements.txt不同,pipfile是TOML格式,支持开发环境与正式环境,还可以使用Pipfile.lock锁定环境版本。pipxenv的安装可以使用pipx:

pipx install pipenv

有些发行版也是可以直接通过其包管理器安装的:

比如MacOS可以下可以使用:

brew install pipenv

一个pipfile的示例如下:

Python开发必备:如何建立一个完美的项目工程环境

 

Pipfile.lock的示例部分如下:

Python开发必备:如何建立一个完美的项目工程环境

 

代码风格

代码格式化black

Python开发必备:如何建立一个完美的项目工程环境

 

代码格式的统一不光可以给我们一个惬意的代码格式,而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。

Black就是用来格式化Python代码的程序。它可以自动帮我们对代码格式进行调整和统一,提高代码效率和可读性。而且通过Black减小代码风格的差异,可以极大提高团队进行代码审查的效率。

一个Black格式化示例如下:

原始代码:

Python开发必备:如何建立一个完美的项目工程环境

 

def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False):
"""Applies `variables` to the `template` and writes to `file`."""
with open(file, 'w') as f:
...

格式化后的代码:

Python开发必备:如何建立一个完美的项目工程环境

 

def very_important_function(
template: str,
*variables,
file: os.PathLike,
engine: str,
header: bool = True,
debug: bool = False,
):
"""Applies `variables` to the `template` and writes to `file`."""
with open(file, "w") as f:
...

isort美化import部分代码

Python开发必备:如何建立一个完美的项目工程环境

 

Python开发中经常需要import第三方的模块,往往这部分代码混乱不堪,使用isort可以则可以美化这部分的代码。 isort可以按字母表顺序对import进行排序,自动分成多个部分。

我们可以使用pipenv安装black 和isort:

pipenv install black isort -dev

isort的效果示例,可以看下面的动图:

Python开发必备:如何建立一个完美的项目工程环境

 

Black和isort同时使用时,两者默认配置不兼容,我们需要覆盖isort配置,优先以Black的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。

[isort]
multi_line_output=3
include_trailing_comma=True
force_grid_wrap=0
use_parentheses=True
line_length=88

flake8代码风格检测

Flake8可以用来确保代码遵循PEP8中定义的标准Python编程约定,是Python官方辅助代码风格检测工具,lake8检查规则灵活,支持集成额外插件(比如vim、sublime、PyCharm、vsc等都有其相关插件),扩展性强。

其安装也可以使用pipenv:

pipenv install flake8 –dev

flake8的使用示例如下:

Python开发必备:如何建立一个完美的项目工程环境

 

flake8 example.py的检查结果:

Python开发必备:如何建立一个完美的项目工程环境

 

flake8默认会忽略一些约定(E,F),如果我们检查所有约定:

flake8 --select E,F example.py,结果:

Python开发必备:如何建立一个完美的项目工程环境

 

和isort一样,为了配合兼容Black,需要在setup.cfg中额外配置:

[flake8]
ignore = E203, E266, E501, W503
max-line-length = 88
max-complexity = 18
select = B,C,E,F,W,T4

mypy静态类型

Python开发必备:如何建立一个完美的项目工程环境

 

Mypy是Python的可选静态类型检查器,可以用结合动态(或"鸭子")类型和静态类型优点其他代码的性能。通过Mypy将Python的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合,并且生成原生代码,支持通过Python VM运行,可以没有运行时开销的高性能运行。在Python中使用静态类型好处有:

可以使程序更易于理解和维护;

可以帮助编译时调试和发现错误,减少测试和调试。

可以在代码部署到生产环境之前就可以找到难以捕捉的错误。

可以使用pipenv直接安装Mypy:

pipenv install mypy –dev

mypy动态类型和静态类型一个示例如下:

Python开发必备:如何建立一个完美的项目工程环境

 

项目配置

默认情况下,Mypy会递归检查所有类型注释的导入,这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行,并忽略没有类型注释的import模块。这也可以在setup.cfg中设置:

[mypy]
files=项目,test
ignore_missing_imports=true

代码测试

程序开发中,除了写代码外,另外一个重要的部分是单元测试。Python测试方面我们要介绍的工具有pytest。

Python开发必备:如何建立一个完美的项目工程环境

 

可以使用pipenv添加测试工具包及扩展:

pipenv install pytest pytest-cov --dev

Pytest框架可以让编写小测试变得容易,而且支持以扩展的方式提供更加复杂的功能。下面是pytest网站的一个简单示例:

# content of test_sample.py
def inc(x):
return x + 1
def test_answer():
assert inc(3) == 5

通过以下命令测试

pipenv run pytest

结果如下:

Python开发必备:如何建立一个完美的项目工程环境

 

pytest-cov是pytest的单元测试行覆盖率的插件。pytets-cov的测试结果示例如下:

Python开发必备:如何建立一个完美的项目工程环境

 

pytest还有很多的扩展插件:

pytest-cov: 单元测试覆盖率报告

pytest-django: 对Django框架的单元测框架

pytest-asyncio:对asyncio的支持

pytest-twisted: 对twisted框架的单元测框架

pytest-instafail: 发送错误时报告错误信息

pytest-bdd 测试驱动开发工具

pytest-konira 测试驱动开发工具

pytest-timeout: 支持超时功能

pytest-pep8: 支持PEP8检查

pytest-flakes: 结合pyflakes进行代码检查

更多插件可以查看github pytest-dev组织下的项目。

项目配置

项目中,所有的测试都应该放在test目录中,我需要给setup.cfg添加配置:

[tool:pytest]
testpaths=test

单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息,配置示例如下:

[run]
source = 项目
[report]
exclude_lines =
pragma: no cover
def __repr__
if self.debug
raise AssertionError
raise NotImplementedError
if 0:
if __name__ == .__main__.:

然后再工程中运行一下命令,测试项目的覆盖率

pipenv run pytest --cov --cov-fail-under =100

如果程序代码的测试覆盖率低于100%,就会报错。

Git pre-commit hook规范检查

Git hook可以让我们在提交或推送时执行检查脚本,脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子,下面.pre-commit-config.yaml配置示例可以帮我们自动做代码规范化,包括isort检查、black检查、flake8检查、mypy静态类型检查、pytest测试、pytest-cov测试覆盖率检查:

repos:
- repo: local
hooks:
- id: isort
name: isort
stages: [commit]
language: system
entry: pipenv run isort
types: [python]
- id: black
name: black
stages: [commit]
language: system
entry: pipenv run black
types: [python]
- id: flake8
name: flake8
stages: [commit]
language: system
entry: pipenv run flake8
types: [python]
exclude: setup.py
- id: mypy
name: mypy
stages: [commit]
language: system
entry: pipenv run mypy
types: [python]
pass_filenames: false
- id: pytest
name: pytest
stages: [commit]
language: system
entry: pipenv run pytest
types: [python]
- id: pytest-cov
name: pytest
stages: [push]
language: system
entry: pipenv run pytest --cov --cov-fail-under=100
types: [python]

如果你需要跳过这些钩子,你可以运行git commit --no-verify或git push --no-verify

cookiecutter自动创建项目

Python开发必备:如何建立一个完美的项目工程环境

 

上面我们提到Python项目应该具备的工具集和配置,可以将其作为模版。cookiecutter的模版定义范例如下:

cookiecutter.json
{
"full_name": "Chongchong",
"email": "chongchong@ijz.me",
"project_name": "Python-Practice",
"repo_name": ""Python-Practice ",
"project_short_description": "The Simple Python Development Practice Example.",
"release_date": "2019-09-02",
"year": "2019",
"version": "0.0.1"
}

然后使用cookiecutter自动生成整改工程:

pipx run cookiecutter Python-Practice
cd Python-Practice
git init

安装依赖项

pipenv install --dev

运行 pre-commit和pre-push hook:

pipenv run pre-commit install -t pre-commit
pipenv run pre-commit install -t pre-push

总结

本文我们介绍了在Python项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成Python项目,代码风格检查、代码测试等操作,可以帮助我们打造一个高效完美的Python开发环境。



Tags:Python开发   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
在上一篇帖子《使用Python开发鸿蒙设备程序(1-GPIO外设控制)》中,已经成功的使用 Python 对 GPIO 上的外设进行了控制。这其实不是什么大不了的事,从功能的角度也着实不值得炫耀...【详细内容】
2021-09-23  Tags: Python开发  点击:(208)  评论:(0)  加入收藏
作为仓鼠,过来把这里作为树洞。1、Visual Studio 的 Python 开发插件 PTVSPTVS (Python Tools for Visual Studio) 是一个开源项目,采用Apache 2.0许可发布。PTVS的主要特性包...【详细内容】
2021-06-04  Tags: Python开发  点击:(191)  评论:(0)  加入收藏
今天JetBrains正式发布了Python开发工具PyCharm 2021.1最新版。码农老杨第一时间安装体验,新增的CodeWithMe可以和好基友边撸代码边视频了。WSL的增强支持可以直接在WSL里跑...【详细内容】
2021-04-09  Tags: Python开发  点击:(452)  评论:(0)  加入收藏
在程序员圈子里,Visual Studio Code(以下简称VSCode)可以说是目前最火的代码编辑器之一了。...【详细内容】
2021-03-10  Tags: Python开发  点击:(348)  评论:(0)  加入收藏
在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python为例,教大家如何快速打造完美的Python项目开发环境:内...【详细内容】
2021-03-10  Tags: Python开发  点击:(318)  评论:(0)  加入收藏
今天从Python的角度来聊下计算机网络这行基础中的基础的话题:网络和IP地址计算(注:本文里的IP指的是IPv4,不涉及IPv6)。相信几乎每位网工读者在平时的工作和学习中都用过类似下图...【详细内容】
2020-09-14  Tags: Python开发  点击:(90)  评论:(0)  加入收藏
安装 pyenv~ % brew install pyenvUpdating Homebrew...==> Auto-updated Homebrew!Updated 1 tap (homebrew/core).==> Updated FormulaeUpdated 19 formulae.......For c...【详细内容】
2020-09-09  Tags: Python开发  点击:(100)  评论:(0)  加入收藏
准备工作  利用python开发app需要用到python的一个模块Kivy,kivy是一个开源的,跨平台的Python开发框架,用于开发使用创新的应用程序。简而言之,这是一个python桌面程序开发框...【详细内容】
2020-08-13  Tags: Python开发  点击:(663)  评论:(0)  加入收藏
一. 安装PythonPython2 还是 Python3 ?这个问题现在其实不用太纠结, 选择则Python3就好了, 除非你是要运行之前的老项目. 首先, Python2只会停留在2.7版本, 不会再重大更新,...【详细内容】
2020-05-07  Tags: Python开发  点击:(99)  评论:(0)  加入收藏
前言大家可能用过sublime text。有些人可能从版本1开始就已经是sublime的高级用户了。本文的重点是在sublime text 3中为那些可能没有充分利用sublime潜能的人设置一个终极...【详细内容】
2020-04-30  Tags: Python开发  点击:(71)  评论:(0)  加入收藏
▌简易百科推荐
近几年 Web3 被炒得火热,但是大部分人可能还不清楚什么是 Web3,今天就让w3cschool编程狮小师妹带你了解下 Web3 是什么?与我们熟知的 Web1 和 Web2 又有什么区别呢?web3.0什么是...【详细内容】
2022-07-15  编程狮W3Cschool    Tags:Web3.0   点击:(2)  评论:(0)  加入收藏
1、让我们一起来看下吧,直接上图。 第一眼看到是不是觉得很高逼格,暗黑画风,这很大佬。其实它就是------AidLearning。一个运行在安卓平台的linux系统,而且还包含了许多非常强大...【详细内容】
2022-07-15  IT智能化专栏    Tags:AidLearning   点击:(2)  评论:(0)  加入收藏
真正的大师,永远都怀着一颗学徒的心! 一、项目简介 今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能 基于RBAC权限系统 录像回放 ...【详细内容】
2022-07-14  菜鸟程序猿    Tags:Python   点击:(3)  评论:(0)  加入收藏
前言今天笔者想和大家来聊聊python接口自动化的MySQL数据连接,废话不多说咱们直接进入主题吧。 一、什么是 PyMySQL?PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,P...【详细内容】
2022-07-11  测试架构师百里    Tags:python   点击:(19)  评论:(0)  加入收藏
aiohttp什么是 aiohttp?一个异步的 HTTP 客户端\服务端框架,基于 asyncio 的异步模块。可用于实现异步爬虫,更快于 requests 的同步爬虫。安装pip install aiohttpaiohttp 和 r...【详细内容】
2022-07-11  VT漫步    Tags:aiohttp   点击:(15)  评论:(0)  加入收藏
今天我们学习下 Queue 的进阶用法。生产者消费者模型在并发编程中,比如爬虫,有的线程负责爬取数据,有的线程负责对爬取到的数据做处理(清洗、分类和入库)。假如他们是直接交互的,...【详细内容】
2022-07-06  VT漫步    Tags:Python Queue   点击:(34)  评论:(0)  加入收藏
继承:是面向对象编程最重要的特性之一,例如,我们每个人都从祖辈和父母那里继承了一些体貌特征,但每个人却又不同于父母,有自己独有的一些特性。在面向对象中被继承的类是父类或基...【详细内容】
2022-07-06  至尊小狸子    Tags:python   点击:(25)  评论:(0)  加入收藏
点击上方头像关注我,每周上午 09:00准时推送,每月不定期赠送技术书籍。本文1553字,阅读约需4分钟 Hi,大家好,我是CoCo。在上一篇Python自动化测试系列文章:Python自动化测试之P...【详细内容】
2022-07-05  CoCo的软件测试小栈    Tags:Python   点击:(27)  评论:(0)  加入收藏
第一种方式:res = requests.get(url, params=data, headers = headers)第二种方式:res = requests.get(url, data=data, headers = headers)注意:1.url格式入参只支持第一种方...【详细内容】
2022-07-05  独钓寒江雪之IT    Tags:Python request   点击:(19)  评论:(0)  加入收藏
什么是python类的多态python的多态,可以为不同的类实例,或者说不同的数据处理方式,提供统一的接口。用比喻的方式理解python类的多态比如,同一个苹果(统一的接口)在孩子的眼里(类实...【详细内容】
2022-07-04  写小说的程序员    Tags:python类   点击:(28)  评论:(0)  加入收藏
站内最新
站内热门
站内头条