Генерация дерева синтаксического анализа с помощью Java CUP
Я использую CUP с JFlex для проверки синтаксиса выражения. У меня работает основная функциональность: я могу сказать, является ли выражение допустимым или нет.
Следующим шагом является реализация простых арифметических операций, таких как "сложить 1". Например, если мое выражение "1 + a", то результат должен быть"2 + a". Для этого мне нужен доступ к дереву синтаксического анализа, потому что простое определение числового термина не поможет: результат добавления 1 к "(1 + a) * b " должен быть "(1 + a) * b + 1", а не "(2 + a) * б".Есть ли у кого-нибудь пример CUP, который генерирует дерево синтаксического анализа? Я думаю, что смогу взять его оттуда.
В качестве дополнительного бонуса, есть ли способ получить список всех токенов в выражении с помощью JFlex? Похоже на типичный случай использования, но я не могу понять, как это сделать.
Edit: нашел многообещающую подсказку по переполнению стека: создать абстрактную задачу дерева из синтаксического анализатора
Обсуждение Кубка и АСТ:
Http://pages.cs.wisc.edu/~Фишер/cs536.с08/лекции/Lecture16.4up.формат PDF
В частности, этот пункт:
Символ, возвращаемый синтаксическим анализатором, ассоциируется с началом грамматики символ и содержит AST для всей исходной программы
Это не помогает. Как обойти дерево, заданное экземпляромSymbol , если класс Symbol не имеет навигационных указателей на своих потомков? Другими словами, он не выглядит или вести себя как узел дерева:
package java_cup.runtime;
/**
* Defines the Symbol class, which is used to represent all terminals
* and nonterminals while parsing. The lexer should pass CUP Symbols
* and CUP returns a Symbol.
*
* @version last updated: 7/3/96
* @author Frank Flannery
*/
/* ****************************************************************
Class Symbol
what the parser expects to receive from the lexer.
the token is identified as follows:
sym: the symbol type
parse_state: the parse state.
value: is the lexical value of type Object
left : is the left position in the original input file
right: is the right position in the original input file
******************************************************************/
public class Symbol {
/*******************************
Constructor for l,r values
*******************************/
public Symbol(int id, int l, int r, Object o) {
this(id);
left = l;
right = r;
value = o;
}
/*******************************
Constructor for no l,r values
********************************/
public Symbol(int id, Object o) {
this(id, -1, -1, o);
}
/*****************************
Constructor for no value
***************************/
public Symbol(int id, int l, int r) {
this(id, l, r, null);
}
/***********************************
Constructor for no value or l,r
***********************************/
public Symbol(int sym_num) {
this(sym_num, -1);
left = -1;
right = -1;
value = null;
}
/***********************************
Constructor to give a start state
***********************************/
Symbol(int sym_num, int state)
{
sym = sym_num;
parse_state = state;
}
/*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .*/
/** The symbol number of the terminal or non terminal being represented */
public int sym;
/*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .*/
/** The parse state to be recorded on the parse stack with this symbol.
* This field is for the convenience of the parser and shouldn't be
* modified except by the parser.
*/
public int parse_state;
/** This allows us to catch some errors caused by scanners recycling
* symbols. For the use of the parser only. [CSA, 23-Jul-1999] */
boolean used_by_parser = false;
/*******************************
The data passed to parser
*******************************/
public int left, right;
public Object value;
/*****************************
Printing this token out. (Override for pretty-print).
****************************/
public String toString() { return "#"+sym; }
}
1 ответ:
Ладно, я понял. Но, к сожалению, я не могу опубликовать весь мой код здесь как есть. Я постараюсь в любом случае наметить решение, и, пожалуйста, задавайте вопросы, если что-то не ясно.
JFlex использует свой собственный класс
Symbol
. Смотреть здесь: JFlex.фляги/java_cup.время выполнения / символ.классВы увидите пару добавленных конструкторов:
public Symbol(int id, Symbol left, Symbol right, Object o){ this(id,left.left,right.right,o); } public Symbol(int id, Symbol left, Symbol right){ this(id,left.left,right.right); }
Ключом здесь является
Object o
, который является значением символа.Определите свой собственный класс для представления узла дерева AST, а другой-для представления жетон лексера. Конечно, вы можете использовать один и тот же класс, но я обнаружил, что более ясно использовать разные классы, чтобы различать их. Как JFlex, так и CUP генерируют java-код, и легко перепутать ваши токены и узлы.
Затем, в вашем парсере.flex, в разделах лексических правил вы хотите сделать что-то вроде этого для каждого токена:
{float_lit} { return symbol(sym.NUMBER, createToken(yytext(), yycolumn)); }
Сделайте это для всех ваших жетонов. Ваш createToken может быть примерно таким:
%{ private LexerToken createToken(String val, int start) { LexerToken tk = new LexerToken(val, start); addToken(tk); return tk; } }%
Теперь перейдем к синтаксический анализатор.чашка. Объявите, что все ваши терминалы имеют тип
Наконец, все это сходится в определении грамматики. Рассмотрим следующий пример:LexerToken
, а все не-терминалы-ТипNode
. Вы хотите прочитать руководство CUP, но для быстрого обновления, терминал будет все, что распознается лексером (например, числа, переменные, операторы), а не терминал будет частью вашей грамматики (например, выражение, фактор, термин...).factor ::= factor:f TIMES:times term:t {: RESULT = new Node(times.val, f, t, times.start); :} | factor:f DIVIDE:div term:t {: RESULT = new Node(div.val, f, t, div.start); :} | term:t {: RESULT = t; :} ;
Синтаксис
factor:f
означает, что вы псевдоним значение фактора должно бытьf
, и вы можете обратиться к нему в следующем разделе{: ... :}
. Помните, что наши терминалы имеют значения типаLexerToken
, а наши не-терминалы имеют значения типаNode
s.Ваш термин в выражении может иметь следующее определение:
term ::= LPAREN expr:e RPAREN {: RESULT = new Node(e.val, e.start); :} | NUMBER:n {: RESULT = new Node(n.val, n.start); :} ;
Когда вы успешно сгенерируете код парсера, вы увидите в своем парсере.java часть, в которой устанавливается родительско-дочернее отношение между узлами:
case 16: // term ::= UFUN LPAREN expr RPAREN { Node RESULT =null; int ufleft = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)).left; int ufright = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)).right; LexerToken uf = (LexerToken)((java_cup.runtime.Symbol) CUP$parser$stack.elementAt(CUP$parser$top-3)).value; int eleft = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-1)).left; int eright = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-1)).right; Node e = (Node)((java_cup.runtime.Symbol) CUP$parser$stack.elementAt(CUP$parser$top-1)).value; RESULT = new Node(uf.val, e, null, uf.start); CUP$parser$result = parser.getSymbolFactory().newSymbol("term",0, ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)), ((java_cup.runtime.Symbol)CUP$parser$stack.peek()), RESULT); } return CUP$parser$result;
Мне жаль, что я не могу опубликовать полный пример кода, но, надеюсь, это сэкономит кому-то несколько часов проб и ошибок. Отсутствие полного кода также хорошо, потому что это не сделает все эти домашние задания CS бесполезными.
В качестве доказательства жизни, вот симпатичный отпечаток моего образца АСТ.
Входное выражение:
T21 + 1A / log(max(F1004036, min(a1, a2))) * MIN(1B, 434) -LOG(xyz) - -3.5+10 -.1 + .3 * (1)
Результирующий АСТ:
|--[+] |--[-] | |--[+] | | |--[-] | | | |--[-] | | | | |--[+] | | | | | |--[T21] | | | | | |--[*] | | | | | |--[/] | | | | | | |--[1A] | | | | | | |--[LOG] | | | | | | |--[MAX] | | | | | | |--[F1004036] | | | | | | |--[MIN] | | | | | | |--[A1] | | | | | | |--[A2] | | | | | |--[MIN] | | | | | |--[1B] | | | | | |--[434] | | | | |--[LOG] | | | | |--[XYZ] | | | |--[-] | | | |--[3.5] | | |--[10] | |--[.1] |--[*] |--[.3] |--[1]