这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。
当然这些并不能代替算法设计,但是还是能让 python 加速很多倍。
这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的 python 解释器。
当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing 模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下 python wiki 上的关于 parallel processing 的内容。
接下来,会说一些关于python 加速工具的选单。
numpy、scipy、sage 和 pandas
先说 numpy,它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。
scipy 和 sage 都将 numpy 内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。
pandas 是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到 pandas 相关的工具,比如 blaze。
pypy、pyston、parakeet、psyco 和 unladen swallow
让代码运行的更快,侵入性最小的就是使用实时编译器(jit 编译)。以前的话我们可以直接安装 psyco。安装之后导入 psyco,然后调用 psyco.full()。代码运行速度就可以明显提升。运行 python 代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。
现在好多 psyco 等加速器的项目已经停止维护了,不过类似的功能在 pypy 中得到了继承。
pypy 为了方便分析、优化和翻译,用 python 语言将 python 重新实现了一遍,这样就可以 jit 编译。而且 pypy 可以直接将代码翻译成像 c 那样的性能更高的语言。
unladen swallow 是一个 python 的 jit 编译器。是 python 解释器的一本版本,被称为底层虚拟机(llvm)。不过这个开发已经停止了。
pyston 是一个与 llvm 平台较为接近的 python 的 jit 编译器。很多时候已经优于 python 的实现,但不过还有很多地方不完善。
gpulib、pystream、pycuda 和 pyopencl、
这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是从硬件层面上进行加速,如果有一个强大的 gpu,我们可以用 gpu 来计算,从而减少 cpu 宝贵的资源。
pystream 古老一点。gpulib 提供了基于 gpu 的各种形式的数据计算。
如果用 gpu 加速自己的代码,可以用 pycuda 和 pyopencl。
pyrex、cython、numba 和 shedskin、
这四个项目都致力于将 python 代码翻译为 c、c++和 llvm 的代码。shedskin 会将代码编译为 c++语言。pyrex、cython 编译的主要目标是 c 语言。cython 也是 pyrex 的一个分支。
而且,cython 还有 numpy 数组的额外支持。
如果面向数组和数学计算的时候,numba 是更好的选择导入时会自动生成相应的 llvm 的代码。升级版本是 numbapro,还提供了对 gpu 的支持。
swig、f2py、boost.python
这些工具可以将其他的语言封装为 python 的模块。第一个可以封装 c/c++语言。f2py 可以封装 fortran。boost.python 可以封装 c++语言。
suig 只要启动一个命令行工具,往里面输入 c 或者 c++的头文件,封装器代码就会自动生成。除了 python,而且可以成为其他语言的封装器,比如 java 和 php。
ctypes、llvm-py 和 corepy2
这些模块可以帮助我们实现python 底层对象的操作。ctypes 模块可以用于在内存中构建编译 c 的对象。并且调用共享库中的 c 的函数。不过 ctypes 已经包含在 python 的标准库里面了。
llvm-py 主要提供llvm 的 python 接口。以便于构建代码,然后编译他们。也可以在 python 中构建它的编译器。当然搞出自己编程语言也是可以的。
corepy2 也可以进行加速,不过这个加速是运行在汇编层的。
weave、cinpy 和 pyinline
这三个包,就可以让我们在 python 代码中直接使用 c 语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用 python 代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。
其他工具
如果我们要节省内存,就不能使用 jit 了。一般 jit 都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点。
至于其他的一些东西,比如 micro python 项目,这个是用在嵌入式设备或者微控制器上面使用的。
通过VR/AR设备实现机器与人之间的交互
威盛x86处理器在全球PC市场已无存在感?
三种高速信号补偿技术详解
一种使用等离子弧的新技术,或可让钛变得廉价
一加发布子弹无线耳机 手机将取消耳机孔?
关于Python 加速工具的选单
AI+视觉,共话新能源企业数字化转型新可能
泰克示波器在DDR5内存测试中的应用
浅谈杀虫灯和智能虫情测报仪的区别
无人驾驶将在海上运行,超越无人车不再话下
快商通新冠肺炎咨询机器人入选工信部人工智能支撑疫情防控平台
网络安全系统及服务提供商安博通发布2021年报
IBM收购红帽背后 混合云将成发展趋势
解决瘫痪病人日常生活 科学家开发出一种新设备
定电压输入1KV 隔离无稳压双输出电源模块
行业浮夸风日盛 LED投机企业的末路
简单概述到底什么是边缘计算以及它将如何补充5G?
国内公共充电设施总量、增速显著提升
成功案例 | 基于i.MX 8M Plus的工业级平板,打造全场景储能管理新模式!
谷歌欲效仿Android打造VR领域白日梦生态系统