GitHub趋势榜第二名：解析、对比不同编程语言的Semantic库

2019 年 6 月 1 日 机器之心

机器之心报道

参与：路、Shooting

刚刚，GitHub Semantic Code 团队宣布开源 semantic 库。这是一个 Haskell 库，用于解析、对比、解释多种编程语言，目前该库支持 JavaScript、TypeScript、Python、Ruby 和 Go 等多种语言。

semantic 库地址：https://github.com/github/semantic

今天，该库获得了 608 个 star，位列 GitHub 趋势榜第二名。

semantic 库简介

semantic 是一个用于解析、分析和对比不同语言源代码的 Haskell 库和命令行工具，目前支持 JavaScript、TypeScript、Python、Ruby 和 Go 语言。根据 GitHub Semantic Code 团队成员 patrick thomson 的 twitter 评论，未来该库可能会增加对 C 语言的支持。

该库由 GitHub Semantic Code team 完成。这支团队主要负责解决分析、解释 GitHub 上公开代码的任务，使用 Haskell 语言。

功能

semantic 库可用于解析、对比、解释多种编程语言的源代码。

解析

该库通过语义解析为路径生成解析树，支持生成 s-expression 解析树、JSON 解析树、JSON 邻接表、JSON 符号表等。

Usage: semantic parse ([--sexpression] | [--json] | [--json-graph] | [--symbols]                      | [--dot] | [--show] | [--quiet]) [FILES...]  Generate parse trees for path(s)
Available options:  --sexpression            Output s-expression parse trees (default)  --json                   Output JSON parse trees  --json-graph             Output JSON adjacency list  --symbols                Output JSON symbol list  --dot                    Output DOT graph parse trees  --show                   Output using the Show instance (debug only, format                           subject to change without notice)  --quiet                  Don't produce output, but show timing stats

对比

该库通过语义对比计算路径之间的变化，支持生成 s-expression diff tree、JSON diff tree 等。

Usage: semantic diff ([--sexpression] | [--json] | [--json-graph] | [--toc] |                     [--dot] | [--show]) [FILE_A] [FILE_B]  Compute changes between paths
Available options:  --sexpression            Output s-expression diff tree (default)  --json                   Output JSON diff trees  --json-graph             Output JSON diff trees  --toc                    Output JSON table of contents diff summary  --dot                    Output the diff as a DOT graph  --show                   Output using the Show instance (debug only, format                           subject to change without notice)

Graph

该库可以通过语义图计算目录或顶级入口点模块的图，支持 import graph、call graph、JSON graph 等。

Usage: semantic graph ([--imports] | [--calls]) [--packages] ([--dot] | [--json]                      | [--show]) ([--root DIR] [--exclude-dir DIR]                      DIR:LANGUAGE | FILE | --language ARG (FILES... | --stdin))  Compute a graph for a directory or from a top-level entry point module
Available options:  --imports                Compute an import graph (default)  --calls                  Compute a call graph  --packages               Include a vertex for the package, with edges from it                           to each module  --dot                    Output in DOT graph format (default)  --json                   Output JSON graph  --show                   Output using the Show instance (debug only, format                           subject to change without notice)  --root DIR               Root directory of project. Optional, defaults to                           entry file/directory.  --exclude-dir DIR        Exclude a directory (e.g. vendor)  --language ARG           The language for the analysis.  --stdin                  Read a list of newline-separated paths to analyze                           from stdin.

语言支持

semantic 库支持的语言很多，如下图所示：

技术和架构

从架构上来说，semantic 库可以：

读 blob；
用 tree-sitter 生成这些 blob 的解析树，tree-sitter 是一种用于编程工具的增量解析系统；
将这些树分配至语法的泛型表示中；
执行分析、计算差异或仅返回解析树；
以支持的格式渲染输出。

semantic 库利用了一系列有趣的算法和技术：

Myers 的算法 (SES)，详见论文：An O(ND) Difference Algorithm and Its Variations；
RWS，详见论文：RWS-Diff: Flexible and Efficient Change Detection in Hierarchical Data；
open-union 包和 data types à la carte；
将 Abstracting Definitional Interpreters 的实现扩展，使其可以处理语法项的à la carte 表示。

该项目欢迎社区的参与，该项目参与者之一 patrick thomson 表示：「很期待看到该项目开源后的变化。」