我想用 Go 去分析大量源代码（ Python 、C 、C++或 Java 等常用的语言），进行一些变量名、函数名、代码结构的统计，以及注释内容的清理，请问具体该如何进行？
我尝试去寻找对应的 package 但是没有找到对应可以解析编程语言的 package ？还是说应该用 yacc 类的工具构造工具链来进行处理。
This topic created in 2056 days ago, the information mentioned may be changed or developed.
 |
neoblackcapMar 26, 2021
1
静态分析工具用 Go 写啊，走 yacc 那套罗
|
 |
kassadinMar 26, 2021
2
antlr
|
 |
LeeReamondMar 26, 2021
3
使用一种语言解析其他语言的 AST 本身不是常见需求，尤其对于 GO 这种生态，我不看你能找到别人写好的项目
|
 |
typetraitsMar 26, 2021 via iPhone
4
我建议使用 Go 调用其他语言的 parser，然后用 Go 实现对 parser 数据的进一步分析
|
 |
janxinMar 26, 2021 via iPhone
5
go-yacc
|
 |
kingzeusMar 26, 2021
6
可以看下 《自己动手实现 LUA 虚拟机》
|
 |
ji39Mar 26, 2021
7
vsc 的各种扩展
|
 |
tikazyqMar 26, 2021
8
参考下 esbuild ？
|
 |
no1xsyzyMar 26, 2021
9
esbuild 似乎是手写的 parser
这种做法比较针对特定语言，多语言还是应当偏向 YACC 之类的（不然写死你~ |
 |
yukongMar 26, 2021
10
antlr ast 语法分析树
|
 |
lxz6597863Mar 26, 2021
11
golang 标准库 text/scanner 估计可以满足你的需求
|
 |
Trim21Mar 26, 2021 via Android
12
试图用 esbuild 解析 js 来着，然后看了下他的 parser 在 internal 里面…
|
 |
KesonAnMar 26, 2021
13
antlr，将目标语言的 syntax 生成为 Go 语言的 AST，然后 Go 可以对目标语言进行分析，官方有 demo
|
 |
hronroMar 27, 2021
14
非要用 Go 语言来做吗？如果不限语言，其实选择会多很多。
可以参考一下 GitHub 的做法，他们是用 tree-sitter 来做 parsing，然后他们在用 Haskell 来处理 tree-sitter parse 之后的结果，项目地址开源在这里： https://github.com/github/semantic 然后这篇文章详细说明了他们为什么不用 yacc 而用 tree-sitter 来做 parsing 的原因： https://github.com/github/semantic/blob/master/docs/why-tree-sitter.md 我个人建议 parsing 的部分用 tree-sitter 来做，然后分析的部分，如果你非要用 Go 言语来做分析的话，应该也是可以的，只不过 tree-sitter 没有官方的 Go binding，用起来可能会麻烦一下。如果你能搞定 Haskell 或者 Rust 的话，建议用这两个语言来做分析，或者对性能没什么要求的话，用 Node.js 或者 Python 也行。 |
 |
16
@lxz6597863 text/scanner 只能解决 Go 本身的语法解析，但是别的语言却没有。
|
|
17
|
Select Language