Генерация дерева синтаксического анализа с помощью Java CUP


Я использую CUP с JFlex для проверки синтаксиса выражения. У меня работает основная функциональность: я могу сказать, является ли выражение допустимым или нет.

Следующим шагом является реализация простых арифметических операций, таких как "сложить 1". Например, если мое выражение "1 + a", то результат должен быть"2 + a". Для этого мне нужен доступ к дереву синтаксического анализа, потому что простое определение числового термина не поможет: результат добавления 1 к "(1 + a) * b " должен быть "(1 + a) * b + 1", а не "(2 + a) * б".

Есть ли у кого-нибудь пример CUP, который генерирует дерево синтаксического анализа? Я думаю, что смогу взять его оттуда.

В качестве дополнительного бонуса, есть ли способ получить список всех токенов в выражении с помощью JFlex? Похоже на типичный случай использования, но я не могу понять, как это сделать.

Edit: нашел многообещающую подсказку по переполнению стека: создать абстрактную задачу дерева из синтаксического анализатора

Обсуждение Кубка и АСТ:

Http://pages.cs.wisc.edu/~Фишер/cs536.с08/лекции/Lecture16.4up.формат PDF

В частности, этот пункт:

Символ, возвращаемый синтаксическим анализатором, ассоциируется с началом грамматики символ и содержит AST для всей исходной программы

Это не помогает. Как обойти дерево, заданное экземпляромSymbol , если класс Symbol не имеет навигационных указателей на своих потомков? Другими словами, он не выглядит или вести себя как узел дерева:

package java_cup.runtime;
/**
 * Defines the Symbol class, which is used to represent all terminals
 * and nonterminals while parsing.  The lexer should pass CUP Symbols 
 * and CUP returns a Symbol.
 *
 * @version last updated: 7/3/96
 * @author  Frank Flannery
 */

/* ****************************************************************
  Class Symbol
  what the parser expects to receive from the lexer. 
  the token is identified as follows:
  sym:    the symbol type
  parse_state: the parse state.
  value:  is the lexical value of type Object
  left :  is the left position in the original input file
  right:  is the right position in the original input file
******************************************************************/

public class Symbol {

/*******************************
  Constructor for l,r values
 *******************************/

  public Symbol(int id, int l, int r, Object o) {
    this(id);
    left = l;
    right = r;
    value = o;
  }

/*******************************
  Constructor for no l,r values
********************************/

  public Symbol(int id, Object o) {
    this(id, -1, -1, o);
  }

/*****************************
  Constructor for no value
  ***************************/

  public Symbol(int id, int l, int r) {
    this(id, l, r, null);
  }

/***********************************
  Constructor for no value or l,r
***********************************/

  public Symbol(int sym_num) {
    this(sym_num, -1);
    left = -1;
    right = -1;
    value = null;
  }

/***********************************
  Constructor to give a start state
***********************************/
  Symbol(int sym_num, int state)
    {
      sym = sym_num;
      parse_state = state;
    }

/*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .*/

  /** The symbol number of the terminal or non terminal being represented */
  public int sym;

  /*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .*/

  /** The parse state to be recorded on the parse stack with this symbol.
   *  This field is for the convenience of the parser and shouldn't be 
   *  modified except by the parser. 
   */
  public int parse_state;
  /** This allows us to catch some errors caused by scanners recycling
   *  symbols.  For the use of the parser only. [CSA, 23-Jul-1999] */
  boolean used_by_parser = false;

/*******************************
  The data passed to parser
 *******************************/

  public int left, right;
  public Object value;

  /*****************************
    Printing this token out. (Override for pretty-print).
    ****************************/
  public String toString() { return "#"+sym; }
}
1 4

1 ответ:

Ладно, я понял. Но, к сожалению, я не могу опубликовать весь мой код здесь как есть. Я постараюсь в любом случае наметить решение, и, пожалуйста, задавайте вопросы, если что-то не ясно.

JFlex использует свой собственный класс Symbol. Смотреть здесь: JFlex.фляги/java_cup.время выполнения / символ.класс

Вы увидите пару добавленных конструкторов:

public Symbol(int id, Symbol left, Symbol right, Object o){
    this(id,left.left,right.right,o);
}
public Symbol(int id, Symbol left, Symbol right){
    this(id,left.left,right.right);
}

Ключом здесь является Object o, который является значением символа.

Определите свой собственный класс для представления узла дерева AST, а другой-для представления жетон лексера. Конечно, вы можете использовать один и тот же класс, но я обнаружил, что более ясно использовать разные классы, чтобы различать их. Как JFlex, так и CUP генерируют java-код, и легко перепутать ваши токены и узлы.

Затем, в вашем парсере.flex, в разделах лексических правил вы хотите сделать что-то вроде этого для каждого токена:

{float_lit}        { return symbol(sym.NUMBER, createToken(yytext(), yycolumn)); }

Сделайте это для всех ваших жетонов. Ваш createToken может быть примерно таким:

%{
    private LexerToken createToken(String val, int start) {
        LexerToken tk = new LexerToken(val, start);
        addToken(tk);
        return tk;
    }
}%

Теперь перейдем к синтаксический анализатор.чашка. Объявите, что все ваши терминалы имеют тип LexerToken, а все не-терминалы-Тип Node. Вы хотите прочитать руководство CUP, но для быстрого обновления, терминал будет все, что распознается лексером (например, числа, переменные, операторы), а не терминал будет частью вашей грамматики (например, выражение, фактор, термин...).

Наконец, все это сходится в определении грамматики. Рассмотрим следующий пример:
   factor    ::= factor:f TIMES:times term:t
                 {: RESULT = new Node(times.val, f, t, times.start); :}
                 |
                 factor:f DIVIDE:div term:t
                 {: RESULT = new Node(div.val, f, t, div.start); :}
                 |
                 term:t
                 {: RESULT = t; :}
                 ;

Синтаксис factor:f означает, что вы псевдоним значение фактора должно быть f, и вы можете обратиться к нему в следующем разделе {: ... :}. Помните, что наши терминалы имеют значения типа LexerToken, а наши не-терминалы имеют значения типа Nodes.

Ваш термин в выражении может иметь следующее определение:

   term  ::= LPAREN expr:e RPAREN
         {: RESULT = new Node(e.val, e.start); :}
         |
         NUMBER:n
         {: RESULT = new Node(n.val, n.start); :}
         ;

Когда вы успешно сгенерируете код парсера, вы увидите в своем парсере.java часть, в которой устанавливается родительско-дочернее отношение между узлами:

  case 16: // term ::= UFUN LPAREN expr RPAREN 
    {
      Node RESULT =null;
    int ufleft = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)).left;
    int ufright = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)).right;
    LexerToken uf = (LexerToken)((java_cup.runtime.Symbol) CUP$parser$stack.elementAt(CUP$parser$top-3)).value;
    int eleft = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-1)).left;
    int eright = ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-1)).right;
    Node e = (Node)((java_cup.runtime.Symbol) CUP$parser$stack.elementAt(CUP$parser$top-1)).value;
     RESULT = new Node(uf.val, e, null, uf.start); 
      CUP$parser$result = parser.getSymbolFactory().newSymbol("term",0, ((java_cup.runtime.Symbol)CUP$parser$stack.elementAt(CUP$parser$top-3)), ((java_cup.runtime.Symbol)CUP$parser$stack.peek()), RESULT);
    }
  return CUP$parser$result;

Мне жаль, что я не могу опубликовать полный пример кода, но, надеюсь, это сэкономит кому-то несколько часов проб и ошибок. Отсутствие полного кода также хорошо, потому что это не сделает все эти домашние задания CS бесполезными.

В качестве доказательства жизни, вот симпатичный отпечаток моего образца АСТ.

Входное выражение:

T21 + 1A / log(max(F1004036, min(a1, a2))) * MIN(1B, 434) -LOG(xyz) - -3.5+10 -.1 + .3 * (1)

Результирующий АСТ:

|--[+]
   |--[-]
   |  |--[+]
   |  |  |--[-]
   |  |  |  |--[-]
   |  |  |  |  |--[+]
   |  |  |  |  |  |--[T21]
   |  |  |  |  |  |--[*]
   |  |  |  |  |     |--[/]
   |  |  |  |  |     |  |--[1A]
   |  |  |  |  |     |  |--[LOG]
   |  |  |  |  |     |     |--[MAX]
   |  |  |  |  |     |        |--[F1004036]
   |  |  |  |  |     |        |--[MIN]
   |  |  |  |  |     |           |--[A1]
   |  |  |  |  |     |           |--[A2]
   |  |  |  |  |     |--[MIN]
   |  |  |  |  |        |--[1B]
   |  |  |  |  |        |--[434]
   |  |  |  |  |--[LOG]
   |  |  |  |     |--[XYZ]
   |  |  |  |--[-]
   |  |  |     |--[3.5]
   |  |  |--[10]
   |  |--[.1]
   |--[*]
      |--[.3]
      |--[1]