让Python提速超过30倍的必杀技:Cython

2019 年 7 月 31 日 新智元




  新智元报道  

编辑:鹏飞

【新智元导读】众所周知,作为人工智能界最流行的语言,Python功能强大,但也运行缓慢。如果你的代码是纯Python、或者必须用一个大的for循环并且不能放入矩阵因为数据必须按顺序处理的时候,有没有办法加速Python呢?本文为你解答。


人工智能最火的语言,自然是被誉为迄今为止最容易使用的代码之一的Python。Python代码素来以直观、高可读性著称。


然而,易用的背后,是Python无法逾越的障碍:慢。尤其是C程序员,这群快枪手简直无法忍受Python的慢。


所以有人就想了各种方法去解决这个问题,本文就介绍其中的一种。如果你的代码是纯Python,或者你必须用一个大的for循环却无法放入矩阵因为数据必须按顺序处理,那么就可以使用Cython来加速Python。


什么是Cython?


根据维基百科:Cython是结合了Python和C的语法的一种语言,可以简单的认为就是给Python加上了静态类型后的语法,使用者可以维持大部分的Python语法,而不需要大幅度调整主要的程式逻辑与算法。但由于会直接编译为二进制程序,所以性能较Python会有很大提升。


Cython被大量运用在CPython函式库的撰写,以取得较高的执行效能。Cython将CPython代码转译成 C 或 C++ 语法后,自动包装上函式呼叫界面生成 .pyx 后缀的执行档,即可当成普通的函式库。其性能一般逊于原生的 C/C++ 函式库,但由于 CPython 语法的易用性可以缩短开发时间。Cython 也可以用于编译以 C/C++ 为 CPython 撰写的函式库。


目前Cython可以在 Windows, macOS 与 Linux 上使用,可以编译 2.6, 2.7 与 3.3 至 3.7 版本的 CPython 语法。


我们对Python代码的唯一调整是向每个变量添加类型信息。通常,我们可以在Python中声明一个变量,如下所示:


x = 0.5


使用Cython,我们将为该变量添加一个类型:


cdef float x = 0.5


这告诉Cython我们的变量是浮点数,和C一样。使用纯Python,变量的类型是动态确定的。Cython中类型的显式声明是可以转换为C的原因,因为需要显式类型声明+。


安装Cython只需要一行pip:


pip install cython


Cython的类型


使用Cython时,有两种不同的类型,用于变量和函数。


对于变量,我们有:


cdef int a, b, ccdef char *scdef float x = 0.5 (single precision)cdef double x = 63.4 (double precision)cdef list namescdef dict goals_for_each_playcdef object card_deck


请注意所有这些类型都来自C/C++! 


对于功能:


defregular python function, calls from Python only.cdef — Cython only functions which can’t be accessed from python-only code i.e must be called within Cythoncpdef — C and Python. Can be accessed from both C and Python


由此开始,我们要开启加速了哦!准备好…


使用Cython加速代码


我们要做的第一件事就是设置Python代码基准:用于计算数字阶乘的for循环。 


原始Python代码如下所示:


def test(x):
y = 1
for i in range(x+1):
y *= i
return y


Cython相同功能看起来非常相似。确保Cython代码文件使用 .pyx扩展名。代码本身的唯一变化是我们需要提前声明变量和函数的类型,示例代码如下:


cpdef int test(int x):
cdef int y = 1
cdef int i
for i in range(x+1):
y *= i
return y


注意函数有一个cpdef来确保我们可以从Python调用它。另外还需要为函数中的所有变量设置类型从而告知C编译器。


接下来,创建一个setup.py文件,该文件将Cython代码编译为C代码:


from distutils.core import setupfrom Cython.Build import cythonize
setup(ext_modules = cythonize('run_cython.pyx'))


并执行编译:


python setup.py build_ext --inplace


搞定!我们的C代码已经编译好并且可以使用了。


在Cython代码所在的文件夹中拥有运行C代码所需的所有文件,包括run_cython.c文件,你尽可以进去仔细看个究竟。


现在,我们要测试全新超快速C代码了!准备好了吗?3、2、1、go!


import run_pythonimport run_cythonimport time

number = 10

start = time.time()run_python.test(number)end = time.time()

py_time = end - startprint("Python time = {}".format(py_time))

start = time.time()run_cython.test(number)end = time.time()

cy_time = end - startprint("Cython time = {}".format(cy_time))

print("Speedup = {}".format(py_time / cy_time))


Cython几乎可以为任何原始Python代码提供良好的加速,不需要做太多额外的工作。记住,你用的循环越多、处理的数据越多,Cython就越有帮助。


看看下表,其中显示了Cython为不同的阶乘值提供了多少速度。我们使用Cython获得了超过36倍的加速!



参考链接:
https://towardsdatascience.com/use-cython-to-get-more-than-30x-speedup-on-your-python-code-f6cb337919b6


更多阅读:

华为 200 万年薪应届博士大起底!8 位天才少年学校专业详解

登录查看更多
0

相关内容

Python是一种面向对象的解释型计算机程序设计语言,在设计中注重代码的可读性,同时也是一种功能强大的通用型语言。
【实用书】Python技术手册,第三版767页pdf
专知会员服务
234+阅读 · 2020年5月21日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
算法与数据结构Python,369页pdf
专知会员服务
161+阅读 · 2020年3月4日
【书籍推荐】简洁的Python编程(Clean Python),附274页pdf
专知会员服务
179+阅读 · 2020年1月1日
【电子书】C++ Primer Plus 第6版,附PDF
专知会员服务
87+阅读 · 2019年11月25日
Python 3.8.0来了!
数据派THU
5+阅读 · 2019年10月22日
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
一个牛逼的 Python 调试工具
机器学习算法与Python学习
15+阅读 · 2019年4月30日
百闻不如一码!手把手教你用Python搭一个Transformer
大数据文摘
18+阅读 · 2019年4月22日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
快乐的迁移到 Python3
Python程序员
5+阅读 · 2018年3月25日
教你用Python来玩跳一跳
七月在线实验室
6+阅读 · 2018年1月2日
python pandas 数据处理
Python技术博文
4+阅读 · 2017年8月30日
Arxiv
5+阅读 · 2019年4月8日
Feature Selection Library (MATLAB Toolbox)
Arxiv
7+阅读 · 2018年8月6日
Arxiv
11+阅读 · 2018年4月8日
Arxiv
3+阅读 · 2018年3月29日
Arxiv
8+阅读 · 2018年1月25日
VIP会员
相关VIP内容
【实用书】Python技术手册,第三版767页pdf
专知会员服务
234+阅读 · 2020年5月21日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
算法与数据结构Python,369页pdf
专知会员服务
161+阅读 · 2020年3月4日
【书籍推荐】简洁的Python编程(Clean Python),附274页pdf
专知会员服务
179+阅读 · 2020年1月1日
【电子书】C++ Primer Plus 第6版,附PDF
专知会员服务
87+阅读 · 2019年11月25日
相关资讯
Python 3.8.0来了!
数据派THU
5+阅读 · 2019年10月22日
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
一个牛逼的 Python 调试工具
机器学习算法与Python学习
15+阅读 · 2019年4月30日
百闻不如一码!手把手教你用Python搭一个Transformer
大数据文摘
18+阅读 · 2019年4月22日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
快乐的迁移到 Python3
Python程序员
5+阅读 · 2018年3月25日
教你用Python来玩跳一跳
七月在线实验室
6+阅读 · 2018年1月2日
python pandas 数据处理
Python技术博文
4+阅读 · 2017年8月30日
Top
微信扫码咨询专知VIP会员