pypy маринованный не может быть очищен cpython

У меня есть кусок кода, который замаринован pypy, однако pypy добавляет свой собственный опкод, чтобы расширить опкод cpython, который не может быть распакован cpython(raise SystemError: unknown opcode).

Это вызвано специальным кодом операции: LOOKUP_METHOD & CALL_METHOD, просто обратитесь к PyPy doc

Мне интересно, как заставить pypy генерировать именно стандартный байт-код cpython вместо самостоятельного байт-кода. Я осмотрел документы и нашел среду PYTHONOPTIMIZE переменная, и я установил ее в 0, но это не сработало.

P. s. Я не могу изменить непикловую сторону, она должна быть cpython 2.7.

Обновление 1

Как говорится в комментарии, cpython не может мариновать или распаковывать объект кода, это верно. Я использую библиотеку cloudpickle для маринования и распаковки объекта функции, и в библиотеке cloudpickle, объектный код может быть маринованные.

Проблема в том, что свойство co_code отличается в pypy, он содержит специальный код операции, который только определено в pypy.

Обновление 2

Я использую метод, предоставленный @ecatmur, он работает идеально, за исключением BUILD_LIST_FROM_ARG.

Это мой код ниже: 

class my_func(object):
    def __init__(self, resources):
        self.file_resource = resources[0]
        self.table_resource = resources[1]

        self.valid_ids = [int(l) for l in self.file_resource]
        self.valid_ids.extend([int(l[0]) for l in self.table_resource]) # issue line

После cloudpickle, который модифицирован на стороне pypy, я распаковываю на стороне cpython:

c = pickle.loads('**the pypy pickled code**')
c([['0'], [['1']]])

Но возникает ошибка: 

in __init__(self, resources)
    453 
    454                 self.valid_ids = [int(l) for l in self.file_resource]
--> 455                 self.valid_ids.extend([int(l[0]) for l in self.table_resource])
    456 
    457             def __call__(self, arg):

TypeError: 'int' object has no attribute '__getitem__'

Я проверил байт-код с помощью dis.Дис, все так запутано, что кажется совершенно правильным.

Если я мариную cpython, то непикловая сторона работает правильно.

Любая идея о обновление 2?

1 2
python cpython pypy

1 ответ:

Нет никаких вариантов, чтобы отключить оптимизацию LOOKUP_METHOD; Вы можете попробовать отключить astcompiler.PythonCodeGenerator._optimize_method_call() но я думаю, что было бы безопаснее залатать байт-код, когда вы его маринуете. К счастью, это легко, так как опкоды принимают одни и те же аргументы и появляются в соответствующих позициях: 

from cloudpickle import CloudPickler, PY3
import opcode

HAVE_ARGUMENT = opcode.HAVE_ARGUMENT
NOP = opcode.opmap['NOP']
LOOKUP_METHOD = opcode.opmap['LOOKUP_METHOD']
CALL_METHOD = opcode.opmap['CALL_METHOD']
LOAD_ATTR = opcode.opmap['LOAD_ATTR']
CALL_FUNCTION = opcode.opmap['CALL_FUNCTION']
BUILD_LIST_FROM_ARG = opcode.opmap['BUILD_LIST_FROM_ARG']
BUILD_LIST = opcode.opmap['BUILD_LIST']
ROT_TWO = opcode.opmap['ROT_TWO']
JUMP_IF_NOT_DEBUG = opcode.opmap['JUMP_IF_NOT_DEBUG']
JUMP_FORWARD = opcode.opmap['JUMP_FORWARD']
JUMP_ABSOLUTE = opcode.opmap['JUMP_ABSOLUTE']

def pypy_to_cpython(code):
    code = [ord(c) for c in code]
    i = 0
    while i < len(code):
        if code[i] == LOOKUP_METHOD:
            code[i] = LOAD_ATTR
        elif code[i] == CALL_METHOD:
            code[i] = CALL_FUNCTION
        elif code[i] == BUILD_LIST_FROM_ARG:
            code[i:i + 3] = [JUMP_ABSOLUTE, len(code) % 256, len(code) // 256]
            code.extend([BUILD_LIST, 0, 0, ROT_TWO,
                JUMP_ABSOLUTE, (i + 3) % 256, (i + 3) // 256])
        elif code[i] == JUMP_IF_NOT_DEBUG:
            if __debug__:
                code[i:i + 3] = [NOP, NOP, NOP]
            else:
                code[i] = JUMP_FORWARD
        i += (3 if code[i] >= HAVE_ARGUMENT else 1)
    return ''.join(chr(c) for c in code)
Примечание: есть также BUILD_LIST_FROM_ARG и JUMP_IF_NOT_DEBUG. Первый эквивалентен BUILD_LIST(0), за которым следует ROT_TWO, в то время как последний эквивалентен no-op в режиме отладки и JUMP_FORWARD, Когда не в режиме отладки. Хитрость здесь заключается в том, чтобы избежать необходимости пересчитывать позиции байт-кода для абсолютных переходов и номеров строк; исправление состоит в том, чтобы добавлять любые более длинные строки байт-кода в конец функции, а затем прыгать туда и прыгать обратно.

Затем подкласс (или monkey-patch) cloudpickle.CloudPickler для вызова вашего патчера кода операции: 

class MyPickler(CloudPickler):
    dispatch = CloudPickler.dispatch.copy()

    def save_codeobject(self, obj):
        """
        Save a code object
        """
        if PY3:
            args = (
                obj.co_argcount, obj.co_kwonlyargcount, obj.co_nlocals, obj.co_stacksize,
                obj.co_flags, pypy_to_cpython(obj.co_code), obj.co_consts, obj.co_names, obj.co_varnames,
                obj.co_filename, obj.co_name, obj.co_firstlineno, obj.co_lnotab, obj.co_freevars,
                obj.co_cellvars
            )
        else:
            args = (
                obj.co_argcount, obj.co_nlocals, obj.co_stacksize, obj.co_flags, pypy_to_cpython(obj.co_code),
                obj.co_consts, obj.co_names, obj.co_varnames, obj.co_filename, obj.co_name,
                obj.co_firstlineno, obj.co_lnotab, obj.co_freevars, obj.co_cellvars
            )
        self.save_reduce(types.CodeType, args, obj=obj)
    dispatch[types.CodeType] = save_codeobject
2