会员服务 ·

高数解题神器：拍照上传就出答案，这个中国学霸做的AI厉害了 | Demo

2019 年 5 月 27 日 CVer

点击上方“CVer”，选择"星标"和“置顶”

重磅干货，第一时间送达

铜灵晓查发自凹非寺
本文转载自：量子位（QbitAI）

一位叫Roger的中国学霸小哥的拍照做题程序mathAI一下子火了，这个AI，堪称数学解题神器。

输入一张包含手写数学题的图片，AI就能识别出输入的数学公式，然后给出计算结果。

不仅加减乘除基本运算，就连高等数学中的微积分都不在话下。

就像下面这样：

还在苦苦纠结高数作业如何求解？还在东奔西走的找学霸借作业？手握mathAI，不就是手握了新时代的解题利器么！

短短几天时间，这个项目在微博就收获了上百次转发。看到画风如此新奇，似乎还能开启无限可能应用，网友们纷纷召唤自己的印象笔记小助手收藏，大呼：牛逼，以后教宝宝数学就是它了。

作者表示，这个项目已经是半开源状态了，目前开源的部分可以识别计算加减乘除简单运算。

如果想要识别更加复杂的表达式，可以参考数学公式识别的论文自己进行扩展。

具体来看看这个解题神器。

实现过程

全能型选手mathAI是怎么实现这个功能的？

作者在Github中介绍说，整个程序使用python实现，具体处理流程包括：图像预处理→字符识别→数学公式识别→数学公式语义理解→结果输出。

整个系统的处理流程如下：

图片预处理主要以OpenCV作为主要工具，将图片中的字符单独切割出来，避免无关变量对字符识别的影响。

随后，国际数学公式识别比赛数据集（CROHME）对通过卷积神经网络进行训练。

此外，还进行结构分析，对字符的空间关系进行判定。比如一个字符的上标和下标，含义自然不一样。

在语义分析阶段，就需要汇集上面得到的信息，判断运算该如何进行了。节点属性传递过程如下图所示：

作者在用160道手写测试题进行了测试：

结果表明，平均字符识别率达到了96.23%，且系统做题的平均正确率达到了79.38%。

上手实操

来，实际上手操作下。

作者给出两种使用模式：网页模式和接口模式。接口模式比较直观，只需打开网页上传图片即可自动给出解题结果。

下面以接口模式为例介绍一下mathAI的安装使用方法。

首先需要安装flask、虚拟环境、科学计算库numpy、sympy等，它们都可以用pip安装。

pip install flask
pip install virtualenv

将项目的lib.zip文件解压到系统目录的venv文件夹下。（lib.zip可以回复lib获取）

配置置好运行环境后，用PyCharm打开下载好的项目，在载入过程中，PyCharm会自动安装好项目依赖的软件库。

使用命令行进入项目所在目录，并启动虚拟环境：

. venv/bin/activate

将FLASK_ENV环境变量设置为启用开发模式：

export FLASK_ENV=development

然后使用指令运行flask网站框架:

export FLASK_APP=welcome.py
flask run

打开浏览器，在地址中输入127.0.0.1:5000，即可打开项目网页。在网页中输入一张包含数学公式的图片，就好返回运算结果。

目前GitHub项目页上的代码只支持加减乘除这样的简单运算。

中国少年

做出这个自动求解系统的，还是一位中国少年。

这位GitHub ID为Roger，本名罗文杰，是中山大学数据科学与计算机学院的研一在读硕士生，主要攻读计算机视觉方向。

不仅这个解题神器，在小哥哥的GitHub主页上还能看到其此前参与的很多有趣研究。

比如这个基于帖子的校园互助交友平台LiBond。用户可以在里面发布任务，然后使用虚拟币荔枝进行交易。

罗同学的设想是，有空闲时间的同学可以在此平台上帮助他人，然后结交好朋友，荔枝币还能用来兑换喜欢的物品。

再比如，一个基于C++的无禁手五子棋AI，可以通过openGL实现图形界面。

在这个项目中，罗同学使用了最经典的极大极小博弈树、alpha-beta剪枝、置换表等算法，还附上了核心代码。

确认过眼神，是学霸无疑了。

传送门

最后，附上神器的Github地址：
https://github.com/Roujack/mathAI

里面还附有Demo使用的word、ppt和视频教程~

作者系网易新闻·网易号“各有态度”签约作者

CVer学术交流群

扫码添加CVer助手，可申请加入CVer-目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、人群密度估计、姿态估计、强化学习和竞赛交流等群。一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），不根据格式申请，一律不通过。