Перестановка байтов

Введение в порядок байтов и массивы ndarrays

ndarray — это объект, предоставляющий интерфейс массивов Python для данных в памяти.

Часто бывает так, что память, которую вы хотите просмотреть с помощью массива, имеет не тот порядок байтов, что и компьютер, на котором вы работаете с Python.

Например, я могу работать на компьютере с процессором little-endian — таком как Intel Pentium, но загрузил данные из файла, созданного компьютером с big-endian. Предположим, что я загрузил 4 байта из файла, созданного компьютером Sun (big-endian). Я знаю, что эти 4 байта представляют два 16-битных целых числа. На машине big-endian двубайтовое целое число хранится с Most Significant Byte (MSB) первым, а затем Least Significant Byte (LSB). Таким образом, байты в памяти расположены в следующем порядке:

1. MSB целое число 1
2. LSB целое число 1
3. MSB целое число 2
4. LSB целое число 2

Предположим, что два целых числа были фактически 1 и 770. Поскольку 770 = 256 * 3 + 2, 4 байта в памяти содержали бы соответственно: 0, 1, 3, 2. Загруженные из файла байты содержали бы следующие значения:

>>> big_end_buffer = bytearray([0,1,3,2])
>>> big_end_buffer
bytearray(b'\x00\x01\x03\x02')

Мы могли бы использовать ndarray для доступа к этим целым числам. В этом случае мы можем создать массив вокруг этой памяти и указать NumPy, что это два целых числа, 16-битные и big-endian:

>>> import numpy as np
>>> big_end_arr = np.ndarray(shape=(2,),dtype='>i2', buffer=big_end_buffer)
>>> big_end_arr[0]
1
>>> big_end_arr[1]
770

Обратите внимание на массив dtype выше типа >i2. > означает 'big-endian' (< — little-endian), а i2 означает 'знаковое 2-байтовое целое число'. Например, если наши данные представляли бы одно 4-байтовое беззнаковое целое число little-endian, строка dtype была бы <u4.

Давайте попробуем это сделать.

>>> little_end_u4 = np.ndarray(shape=(1,),dtype='<u4', buffer=big_end_buffer)
>>> little_end_u4[0] == 1 * 256**1 + 3 * 256**2 + 2 * 256**3
True

Возвращаясь к нашему big_end_arr — в этом случае наши исходные данные являются big-endian (порядок байтов данных), а dtype соответствует ему (dtype также big-endian). Однако иногда вам нужно перевернуть эти значения.

>>> big_end_arr[0].dtype.byteorder == little_end_u4[0].dtype.byteorder
True

Изменение порядка байтов

Как вы можете себе представить из введения, есть два способа повлиять на отношение между порядком байтов массива и лежащей в основе памяти, на которую он смотрит:

• Изменить информацию о порядке байтов в dtype массива, чтобы он интерпретировал данные как имеющие другой порядок байтов. Это роль arr.newbyteorder()
• Изменить порядок байтов в базовых данных, оставив интерпретацию dtype такой, как она есть. Это то, что делает arr.byteswap().

Общие ситуации, в которых вам нужно изменить порядок байтов:

1. Порядок байтов данных и dtype не совпадают, и вы хотите изменить dtype так, чтобы он соответствовал данным.
2. Порядок байтов данных и dtype не совпадают, и вы хотите переставить данные так, чтобы они соответствовали dtype.
3. Порядок байтов данных и dtype совпадают, но вы хотите переставить данные и чтобы dtype отражал это.

Порядок байтов данных и dtype не совпадает, изменить dtype для соответствия данным

Создадим пример, где они не совпадают:

>>> wrong_end_dtype_arr = np.ndarray(shape=(2,),dtype='<i2', buffer=big_end_buffer)
>>> wrong_end_dtype_arr[0]
256

Явным решением в этой ситуации является изменение dtype, чтобы он соответствовал правильному порядку байтов:

>>> fixed_end_dtype_arr = wrong_end_dtype_arr.newbyteorder()
>>> fixed_end_dtype_arr[0]
1

Обратите внимание, что массив в памяти не изменился:

>>> fixed_end_dtype_arr.tobytes() == big_end_buffer
True

Порядок байтов данных и типа не совпадает, изменить данные для соответствия dtype

Вы можете захотеть сделать это, если вам нужно, чтобы данные в памяти имели определенный порядок. Например, вы можете записывать данные в файл, которому требуется определенный порядок байтов.

>>> fixed_end_mem_arr = wrong_end_dtype_arr.byteswap()
>>> fixed_end_mem_arr[0]
1

Теперь массив изменился в памяти:

>>> fixed_end_mem_arr.tobytes() == big_end_buffer
False

Порядок байтов данных и dtype совпадают, переставить данные и dtype

У вас может быть правильно заданный dtype массива, но вам нужен массив с противоположным порядком байтов в памяти, и вы хотите, чтобы dtype соответствовал, чтобы значения массива имели смысл. В этом случае вы просто выполняете обе предыдущие операции:

>>> swapped_end_arr = big_end_arr.byteswap().newbyteorder()
>>> swapped_end_arr[0]
1
>>> swapped_end_arr.tobytes() == big_end_buffer
False

Более простой способ преобразования данных в определенный dtype и порядок байтов можно реализовать с помощью метода ndarray astype:

>>> swapped_end_arr = big_end_arr.astype('<i2')
>>> swapped_end_arr[0]
1
>>> swapped_end_arr.tobytes() == big_end_buffer
False