Как перенести код Python 2 на Python 3

Деление

В Python 3 используется 5 / 2 == 2.5, а не 2, как это было в Python 2; все деления между int значениями приводят к float. Это изменение фактически планировалось с момента выпуска Python 2.2 в 2002 году. С тех пор пользователям рекомендуется добавлять from __future__ import division в все файлы, использующие операторы / и //, или запускать интерпретатор со флагом -Q. Если вы этого не делали, вам нужно пройтись по вашему коду и сделать два действия:

1. Добавьте from __future__ import division в свои файлы
2. Обновите любой оператор деления, по необходимости, для использования // для целочисленного деления или продолжения использования / и ожидания числа с плавающей точкой

Причина, по которой / не просто автоматически преобразуется в //, заключается в том, что если объект определяет метод __truediv__, но не __floordiv__, ваш код начнёт выходить из строя (например, пользовательский класс, использующий / для обозначения некоторой операции, но не // для того же или вообще).

Текст против двоичных данных

В Python 2 вы могли использовать тип str для текстовых и двоичных данных. К сожалению, это смешение двух разных понятий может привести к хрупкому коду, который иногда работал с любым типом данных, а иногда нет. Также это может привести к запутанным API, если люди не укажут явно, что что-то, что принимает str, принимает либо текст, либо двоичные данные, а не конкретный тип. Это осложняет ситуацию, особенно для людей, поддерживающих несколько языков, так как API не будут явно поддерживать unicode при заявлении о поддержке текстовых данных.

Python 3 сделал текст и двоичные данные различными типами, которые нельзя просто смешивать. Для кода, который работает только с текстом или только с двоичными данными, это разделение не создаёт проблем. Но для кода, который должен работать с обоими, это означает, что вам может потребоваться учитывать, когда вы используете текст по сравнению с двоичными данными, поэтому это нельзя полностью автоматизировать.

Определите, какие API принимают текст, а какие — двоичные данные (настоятельно рекомендуется не проектировать API, которые могут принимать оба из-за сложности поддержания работоспособности кода; как было сказано ранее, это трудно сделать хорошо). В Python 2 это означает, что API, которые принимают текст, должны работать с unicode, а API, которые работают с двоичными данными, должны работать с типом bytes из Python 3 (который является подмножеством str в Python 2 и выступает в качестве псевдонима для типа bytes в Python 2). Обычно самая большая проблема — понять, какие методы существуют одновременно в Python 2 и 3 для разных типов (для текста это unicode в Python 2 и str в Python 3, для двоичных данных — str/bytes в Python 2 и bytes в Python 3).

В следующей таблице перечислены уникальные методы каждого типа данных в Python 2 и 3 (например, метод decode() можно использовать для эквивалентного типа двоичных данных в Python 2 или 3, но он не может использоваться для текстового типа данных последовательно между Python 2 и 3, потому что str в Python 3 не имеет метода). Обратите внимание, что начиная с Python 3.5 метод __mod__ был добавлен к типу bytes.

Упростить обработку различий можно с помощью кодирования и декодирования между двоичными данными и текстом на границе вашего кода. Это означает, что при получении текстовых данных в двоичном формате вы должны сразу же декодировать их. И если ваш код должен отправить текст в виде двоичных данных, закодируйте его как можно позже. Это позволяет вашему коду работать только с текстом во внутренней части, и таким образом устраняется необходимость отслеживания типа данных, с которым вы работаете.

Следующая проблема — убедиться, что вы знаете, представляют ли строковые литералы в вашем коде текст или двоичные данные. Вы должны добавить префикс b к любому литералу, представляющему двоичные данные. Для текста вы должны добавить префикс u к текстовому литералу. (Существует импорт __future__, чтобы принудительно сделать все неопределённые литералы Unicode, но опыт показал, что это не так эффективно, как явное добавление префикса b или u ко всем литералам).

Вам также нужно быть осторожными при открытии файлов. Возможно, вы не всегда добавляли режим b при открытии двоичного файла (например, rb для чтения двоичных данных). В Python 3 двоичные файлы и текстовые файлы чётко различаются и несовместимы; см. модуль io для получения подробной информации. Таким образом, вы должны принять решение, будет ли файл использоваться для двоичного доступа (разрешая чтение и/или запись двоичных данных) или для текстового доступа (разрешая чтение и/или запись текстовых данных). Вы также должны использовать io.open() для открытия файлов вместо встроенной функции open(), так как модуль io согласован с Python 2 и 3, в то время как встроенная функция open() не (в Python 3 это фактически io.open()). Не стоит использовать устаревшую практику использования codecs.open(), так как это необходимо только для сохранения совместимости с Python 2.5.

Конструкторы str и bytes имеют разные семантики для одних и тех же аргументов в Python 2 и 3. Передача целого числа в bytes в Python 2 даст вам строковое представление целого числа: bytes(3) == '3'. Но в Python 3 целое число в качестве аргумента для bytes даст вам объект bytes, заполненный нулевыми байтами: bytes(3) == b'\x00\x00\x00'. Аналогичные опасения необходимы при передаче объекта bytes в str. В Python 2 вы просто получаете объект bytes обратно: str(b'3') == b'3'. Но в Python 3 вы получаете строковое представление объекта bytes: str(b'3') == "b'3'".

Наконец, индексирование двоичных данных требует тщательной обработки (для срезов специальная обработка не требуется). В Python 2 это b'123'[1] == b'2', а в Python 3 b'123'[1] == 50. Поскольку двоичные данные представляют собой просто набор двоичных чисел, Python 3 возвращает целое значение байта, по которому вы производите индексирование. Но в Python 2, поскольку bytes == str, индексирование возвращает срез байтов из одного элемента. Проект six имеет функцию под названием six.indexbytes(), которая вернёт целое число, как в Python 3: six.indexbytes(b'123', 1).

Подводя итог:

1. Определите, какие из ваших API принимают текст, а какие — двоичные данные
2. Убедитесь, что код, работающий с текстом, также работает с unicode, а код для двоичных данных работает с bytes в Python 2 (см. таблицу выше, какие методы нельзя использовать для каждого типа)
3. Помечайте все двоичные литералы префиксом b, а текстовые — префиксом u
4. Декодируйте двоичные данные в текст как можно скорее, кодируйте текст в двоичные данные как можно позже
5. Открывайте файлы с помощью io.open() и убедитесь, что задан режим b, когда это необходимо
6. Будьте осторожны при индексировании двоичных данных

Использование определения возможностей вместо определения версии

Неизбежно, у вас будет код, который должен выбирать, что делать, в зависимости от версии Python, которая выполняется. Лучший способ сделать это — использовать определение возможностей, чтобы проверить, поддерживает ли используемая версия Python необходимые вам возможности. Если по какой-то причине это не работает, вы должны проверить версию на соответствие Python 2, а не Python 3. Для лучшего объяснения рассмотрим пример.

Предположим, вам нужен доступ к функции модуля importlib, доступной в стандартной библиотеке Python начиная с Python 3.3 и доступной для Python 2 через importlib2 в PyPI. Вы, возможно, захотите написать код для доступа, например, к модулю importlib.abc, сделав следующее:

import sys

if sys.version_info[0] == 3:
    from importlib import abc
else:
    from importlib2 import abc

Проблема с этим кодом заключается в том, что произойдёт при появлении Python 4? Лучше рассматривать Python 2 как исключительный случай, а не Python 3, и предполагать, что будущие версии Python будут совместимы с Python 3 больше, чем с Python 2:

import sys

if sys.version_info[0] > 2:
    from importlib import abc
else:
    from importlib2 import abc

Однако лучшее решение — вообще не определять версию, а полагаться на определение возможностей. Это предотвращает возможные проблемы с неправильным определением версии и способствует будущей совместимости:

try:
    from importlib import abc
except ImportError:
    from importlib2 import abc