ANTLR: есть ли простой пример?

сначала вы создаете грамматику. Ниже приведена небольшая грамматика, которую можно использовать для вычисления выражений, построенных с использованием 4 основных математических операторов:+, -, * и /. Выражения также можно группировать с помощью скобок.

обратите внимание, что эта грамматика просто очень простая: она не обрабатывает унарные операторы (минус в: -1+9) или десятичные числа .99 (без ведущего), чтобы назвать только два недостатка. Это просто пример того, как вы можете работать над собой.

здесь содержимое файла грамматики Exp.g:

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(правила парсера начинаются со строчной буквы, а правила лексера начинаются с заглавной буквы)

после создания грамматики, вы хотите, чтобы создать парсер и лексер из него. Скачать ANTLR jar и хранить его в том же каталоге, что и файл грамматики.

выполните следующую команду в командной консоли/ подсказка:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

он не должен выдавать никаких сообщений об ошибке, а файлы ExpLexer.java,ExpParser.java и Exp.жетоны теперь должны быть созданы.

чтобы убедиться, что все работает правильно, создайте этот тестовый класс:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

и скомпилировать его:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

и затем запустить его:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

если все идет хорошо, ничего не печатается на консоль. Это означает, что парсер сделал не найти никаких ошибок. Когда вы меняете "12*(5-6)" на "12*(5-6" а затем перекомпилировать и запустить его, там должно быть напечатано следующее:

line 0:-1 mismatched input '<EOF>' expecting ')'

хорошо, теперь мы хотим добавить немного кода Java в грамматику, чтобы парсер действительно делал что-то полезное. Добавление кода может быть сделано путем размещения { и } внутри вашей грамматики с некоторым простым кодом Java внутри него.

но сначала: все правила синтаксического анализатора в файле грамматики должны возвращать примитивное двойное значение. Вы можно сделать это, добавив returns [double value] после каждого правила:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

что требует небольшого объяснения: каждое правило, как ожидается, вернет двойное значение. Теперь, чтобы "взаимодействовать" с возвращаемым значением double value (который не находится внутри простого блока кода Java {...}) изнутри блока кода, вам нужно будет добавить знак доллара перед value:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

вот грамматика, но теперь с добавлением кода Java:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

и так eval правила теперь возвращает двойной, изменить вашу ANTLRDemo.Java в этом:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

снова (re) создайте новый лексер и парсер из вашей грамматики (1), скомпилируйте все классы (2) и запустите ANTLRDemo (3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

и вы увидите результат выражения 12*(5-6) печать на консоль!

еще раз: это очень краткое объяснение. Я призываю вас, чтобы просмотреть ANTLR wiki и читать некоторые учебники и / или играть немного с тем, что я просто размещенный.

удачи!

EDIT:

этот пост показывает, как расширить пример выше, чтобы a Map<String, Double> может быть предусмотрено, что держит переменных в выражении.

и Q & A демонстрирует, как создать простой синтаксический анализатор выражений и вычислитель с помощью ANTLR4.

чтобы получить этот код, работающий с текущей версией Antlr (июнь 2014) мне нужно было сделать несколько изменения. ANTLRStringStream нужно, чтобы стать ANTLRInputStream возвращаемое значение нужно изменить parser.eval() до parser.eval().value, и мне нужно удалить WS предложение в конце, потому что значения атрибутов, такие как $channel больше не разрешается появляться в действиях lexer.