来自:开源最前线(ID:OpenSourceTop)
链接:https://github.com/Roujack/mathAI
中山大学的一名叫mathAI的硕士学霸小哥在GitHub上开源了一个拍照做题神器火了。
这个程序只需要输入一张手写数学题的图片,这个AI就可以识别出输入的数学公式,最后输出计算结果,就像下面这样:
这样一个好用的项目,立马收获众多网友收藏,评价道:以后辅导宝宝的数学就有救了!
整个程序使用python实现,具体处理流程包括了图像预处理、字符识别、数学公式识别、数学公式语义理解、结果输出:
本程序使用opencv对输入的图像进行预处理,并将字符裁剪出来再归一化成固定大小的矩阵。
它在TensorFlow上实现了一个lenet5 的卷积神经网络用来识别数学字符,训练使用CHROME数据集。对于数学公式的识别,主要是将识别出的独立的字符组织成计算机能够 理解的数学公式(这里的数学公式就是纯字符的可求解的数学计算题)。大概的方法是使用编译原理的算符优先法和递归下降法进行实现。 然后根据属性文法的值传递思想,将数学公式的值计算出来。最后使用python的matlibplot库把计算过程和答案打印出来。
图像预处理
图片预处理以OpenCV作为主要工具。预处理的主要目的是把图片中的字符切割出来,同时避免无关变量对字符识别的影响
对图片预处理的效果如下图所示:
平均字符识别率已经高达96.23%:
对 160 道测试题进行测试,系统做对 127 道题目,正确率为 79.38%。
创建者将这个项目在GitHub上开源了,感兴趣的不要错过了
mathAI已经在GitHub上获得 732 个Star,196 个Fork(GitHub地址:https://github.com/Roujack/mathAI)
●编号833,输入编号直达本文
●输入m获取文章目录
开源最前线