perlebcdic
СОДЕРЖАНИЕ
- НАЗВАНИЕ
- ОПИСАНИЕ
- ОБЩИЕ КОМПЛЕКТЫ КОДОВ СИМВОЛОВ
- ТАБЛИЦЫ ОДНОГО БАЙТА
- ОПРЕДЕЛЕНИЕ КОМПЛЕКТОВ КОДОВ СИМВОЛОВ
- ПРЕОБРАЗОВАНИЯ
- РАЗЛИЧИЯ В ОПЕРАТОРАХ
- РАЗЛИЧИЯ В ФУНКЦИЯХ
- РАЗЛИЧИЯ В РЕГУЛЯРНЫХ ВЫРАЖЕНИЯХ
- СОКЕТЫ
- СОРТИРОВКА
- ФОРМАТЫ ПРЕОБРАЗОВАНИЯ
- Порядок хеширования и контрольные суммы
- I18N И L10N
- КОМПЛЕКТЫ СИМВОЛОВ С НЕСКОЛЬКИМИ БАЙТАМИ
- ПРОБЛЕМЫ С ОПЕРАЦИОННОЙ СИСТЕМОЙ
- ОШИБКИ
- СМОТРИТЕ ТАКЖЕ
- СПИСОК ЛИТЕРАТУРЫ
- ИСТОРИЯ
- АВТОР
НАЗВАНИЕ
perlebcdic - Особенности работы Perl на платформах EBCDIC
ОПИСАНИЕ
Изучение некоторых проблем, с которыми сталкиваются программисты Perl на компьютерах с EBCDIC.
Незавершенные части этого документа помечены XXX.
Ранние версии Perl работали на некоторых машинах EBCDIC, но последняя известная версия, работавшая на EBCDIC, была v5.8.7, вплоть до v5.22, когда ядро Perl вновь стало работать на z/OS. Теоретически, он мог работать на OS/400 или BS2000 компании Siemens (или их преемниках), но это не проверялось. В версиях 5.22 и 5.24 не все модули, доступные в CPAN и поставляемые с ядром Perl, работают на z/OS.
Если вы хотите использовать Perl на машине EBCDIC, не являющейся z/OS, сообщите нам об этом по адресу https://github.com/Perl/perl5/issues.
Написание Perl на платформе EBCDIC ничем не отличается от написания на платформе "ASCII", но с разными лежащими в основе числами, как мы увидим вскоре. Вам нужно будет знать что-то о платформах "ASCII", потому что документация предвзята и часто будет использовать примерные числа, которые не относятся к EBCDIC. Кроме того, существует очень мало модулей CPAN, написанных для EBCDIC и не работающих на ASCII; в основном большинство модулей CPAN написаны для ASCII, и некоторые могут работать на EBCDIC, а несколько были разработаны для работы и на тех, и на других платформах.
Если ваш код использует только 52 буквы A-Z и a-z, плюс ПРОБЕЛ, цифры 0-9 и знаки препинания, которые использует Perl, плюс несколько управляющих символов, обозначаемых последовательностями с экранированием, такими как \n и \t, то нет ничего особенного в использовании Perl, и ваш код, скорее всего, будет работать на машине ASCII без изменений.
Но если вы пишете код, который использует \005 для обозначения ТАБУЛЯЦИИ или \xC1 для обозначения "A", или \xDF для обозначения "ÿ" (маленькая "y" с диэрезисом), то ваш код, скорее всего, будет работать на вашей платформе EBCDIC, но не на платформе ASCII. Это нормально, если никто никогда не захочет запускать ваш код на платформе ASCII; но в этом документе будет сделан упор на написание кода, портативного как для EBCDIC, так и для ASCII систем. Опять же, если каждый символ, который вам нужен, легко вводить с клавиатуры, вам не нужно ничего знать об ASCII, но многие клавиатуры не позволяют вам напрямую вводить, скажем, символ \xDF, поэтому вам нужно указать его косвенно, например, используя последовательность экранирования "\xDF". В этих случаях проще всего знать что-то о наборах символов ASCII/Unicode. Если вы знаете, что маленькая "ÿ" это U+00FF, то вы можете вместо этого указать её как "\N{U+FF}", и компьютер автоматически переведёт её в \xDF на вашей платформе и оставит её как \xFF на ASCII платформах. Или вы можете указать её по имени, \N{LATIN SMALL LETTER Y WITH DIAERESIS, и вам не придётся знать цифры. Оба способа работают, но оба требуют знакомства с Unicode.
ОБЩИЕ КОМПЛЕКТЫ КОДОВ СИМВОЛОВ
ASCII
American Standard Code for Information Interchange (ASCII или US-ASCII) — набор целых чисел от 0 до 127 (десятичное), имеющие стандартизированные интерпретации на компьютерах, использующих ASCII. Например, 65 означает букву "A". Диапазон 0..127 может быть охвачен установкой различных битов в 7-битовом двоичном числе, поэтому набор иногда называют "7-битным ASCII". ASCII был описан документом American National Standards Institute ANSI X3.4-1986. Он также был описан стандартом ISO 646:1991 (с локализацией для символов валют). Полный набор ASCII приведен в таблице ниже как первые 128 элементов. Языки, которые могут быть адекватно записаны символами ASCII, включают английский, гавайский, индонезийский, суахили и некоторые языки коренных американцев.
Большинство наборов символов, отличных от EBCDIC, являются надмножествами ASCII. То есть целые числа от 0 до 127 означают то, что они означают в ASCII. Но целые числа 128 и выше специфичны для набора символов.
Многие из них полностью помещаются в 8 бит, используя ASCII как 0-127, при этом определяя, что означают 128-255, и не используя ничего выше 255. Таким образом, это наборы символов с одним байтом (или октетом, если вы предпочитаете). Важным из них (поскольку Unicode является его надмножеством) является набор символов ISO 8859-1.
ISO 8859
ISO 8859-$n — это коллекция наборов кодов символов от Международной организации по стандартизации (ISO), каждый из которых добавляет символы к набору ASCII, которые обычно встречаются в различных языках, многие из которых основаны на латинском алфавите. Большинство предназначены для европейских языков, но также существуют наборы для арабского, греческого, иврита и тайского. Есть хорошие ссылки в Интернете об этих наборах.
Latin 1 (ISO 8859-1)
Конкретное 8-битное расширение ASCII, включающее латинские символы с острыми и долгими ударениями. Языки, которые могут использовать ISO 8859-1, включают все языки, охваченные ASCII, а также африкаанс, албанский, баскский, каталонский, датский, фарерский, финский, норвежский, португальский, испанский и шведский. Голландский охвачен, но без лигатуры ij. Французский тоже охвачен, но без лигатуры oe. Немецкий может использовать ISO 8859-1, но должен делать это без немецких кавычек. Этот набор основан на западноевропейских расширениях ASCII и часто встречается при работе в глобальной сети.
EBCDIC
Расширенный двоичный код обмена десятичных цифр с кодами обмена относится к большой коллекции наборов кодировки символов с одним и несколькими байтами, которые сильно отличаются от ASCII и ISO 8859-1 и все немного разные друг от друга; они обычно используются на хост-компьютерах. Кодировки EBCDIC основаны на 8-битных расширениях кодировок перфокарт Холлерита, которые появились задолго до ASCII. Макет на картах был таким, что старшие биты устанавливались для прописных и строчных букв [a-z] и [A-Z], но внутри каждого диапазона латинских букв были пробелы, которые видны в таблице ниже. Эти пробелы могут вызывать проблемы.
Некоторые наборы символов IBM EBCDIC могут быть известны по номерам идентификации наборов символов (номерам CCSID) или номерам страниц кодов.
Perl можно компилировать на платформах, на которых работают любые три часто используемых набора символов EBCDIC, перечисленные ниже.
13 вариантов символов
Среди наборов символов IBM EBCDIC есть 13 символов, которые часто отображаются с различными целыми значениями. Эти символы известны как 13 «вариантных» символов и включают:
\ [ ] { } ^ ~ ! # | $ @ `При компиляции Perl для платформы он анализирует все эти символы, чтобы определить, какой набор символов EBCDIC использует платформа, и соответственно адаптируется к этой платформе. Если платформа использует набор символов, который не входит в три набора, известные Perl, Perl либо откажется от компиляции, либо ошибочно и молча выберет один из трёх.
Символ новой строки (LF) — это на самом деле 14-й вариант символа, и Perl также проверяет его.
Кодовые страницы EBCDIC, распознаваемые Perl
- 0037
-
Идентификатор кодовой страницы 0037 — это отображение символов ASCII плюс Latin-1 (т. е. ISO 8859-1) на кодовую страницу EBCDIC. 0037 используется в локалях Северной Америки (английский) на операционной системе OS/400, работающей на компьютерах AS/400. CCSID 0037 отличается от ISO 8859-1 в 236 местах; другими словами, они совпадают только в 20 значениях кодовых точек.
- 1047
-
Идентификатор кодовой страницы 1047 также представляет собой отображение символов ASCII плюс Latin-1 (т. е. ISO 8859-1) на кодовую страницу EBCDIC. 1047 используется в Unix System Services для OS/390 или z/OS, а также в OpenEdition для VM/ESA. CCSID 1047 отличается от CCSID 0037 в восьми местах и от ISO 8859-1 в 236.
- POSIX-BC
-
Кодовая страница EBCDIC, используемая на системе Siemens BS2000, отличается от 1047 и 0037. Она идентифицируется ниже как набор POSIX-BC. Как и 0037 и 1047, он совпадает с ISO 8859-1 в 20 значениях кодовых точек.
Кодовые точки Unicode и EBCDIC
В терминологии Unicode кодовая точка — это число, присвоенное символу: например, в EBCDIC символ "A" обычно имеет номер 193. В Unicode символ "A" имеет номер 65. Все кодовые точки в ASCII и Latin-1 (ISO 8859-1) имеют одинаковый смысл в Unicode. Все три распознаваемые кодовые страницы EBCDIC имеют 256 кодовых точек, и в каждой кодовой странице все 256 кодовых точек отображаются на эквивалентные кодовые точки Latin-1. Очевидно, что "A" будет отображаться на "A", "B" => "B", "%" => "%", и так далее, для всех печатаемых символов в Latin-1 и этих кодовых страниц.
Также выясняется, что EBCDIC имеет почти точные эквиваленты для управляющих символов ASCII/Latin-1 C0 и управляющего символа DELETE. (Управляющие символы C0 — это те, чьи кодовые точки ASCII равны 0..0x1F; такие как TAB, ACK, BEL и т. д.) Установлено отображение между этими управляющими символами ASCII/EBCDIC. Не существует такого точного отображения между управляющими символами C1 на платформах ASCII и оставшимися управляющими символами EBCDIC. Было сделано отображение этих управляющих символов, в основном произвольно, на какой-либо другой несовпадающий символ в другой кодовой странице. Большинство из них в настоящее время крайне редко используются в EBCDIC, и их имена были удалены без особых возражений. Например, управляющий символ EBCDIC EO (Eight Ones) (состоящий из восьми единиц = 0xFF) отображается на управляющий символ C1 APC (0x9F), и вы не можете использовать имя "EO".
Управляющие символы EBCDIC предоставляют три возможных символа окончания строки: CR (0x0D), LF (0x25) и NL (0x15). На платформах ASCII символы "NL" и "LF" относятся к одному и тому же символу, но в строгой терминологии EBCDIC они разные. EBCDIC NL отображается на управляющий символ C1 с именем "NEL" ("Next Line"; вот случай, когда отображение имеет довольно большой смысл и, следовательно, не является произвольным). На некоторых платформах EBCDIC этот NL или NEL является типичным символом окончания строки. Это верно для z/OS и BS2000. В этих платформах компиляторы C будут менять кодовые точки LF и NEL, так что "\n" — это 0x15 и относится к NL. Perl тоже это делает; вы можете увидеть это в таблице кодов ниже. Это позволяет вещам работать обычно, даже если вы не знаете, что существует переключение.
Unicode и UTF
UTF означает "Unicode Transformation Format". UTF-8 — это кодировка Unicode в последовательность 8-битовых байтовых фрагментов, основанная на ASCII и Latin-1. Длина последовательности, необходимой для представления кодовой точки Unicode, зависит от порядкового номера этой кодовой точки, а большие числа требуют больше байтов. UTF-EBCDIC похож на UTF-8, но основан на EBCDIC. Они достаточно похожи, что часто неразборчивое использование будет смешивать два термина и использовать "UTF-8", чтобы обозначать как UTF-8 на платформах ASCII, так и UTF-EBCDIC на платформах EBCDIC.
Вы можете увидеть термин "инвариантный" символ или кодовая точка. Это просто означает, что символ имеет то же числовое значение и представление при кодировании в UTF-8 (или UTF-EBCDIC), что и без него. (Обратите внимание, что это очень отличается от "13 вариантов символов", упомянутых выше. Внимательная формулировка будет использовать термин "инвариантный UTF-8", а не просто "инвариантный", но чаще всего вы увидите просто "инвариантный".) Например, порядковое значение "A" равно 193 в большинстве кодовых страниц EBCDIC и также равно 193 при кодировании в UTF-EBCDIC. Все кодовые точки UTF-8 (или UTF-EBCDIC) с вариантами занимают как минимум два байта при кодировании в UTF-8 (или UTF-EBCDIC); по определению, кодовые точки UTF-8 (или UTF-EBCDIC) с инвариантным значением занимают ровно один байт, независимо от того, закодированы ли они в UTF-8 (или UTF-EBCDIC) или нет. (К этому моменту вы понимаете, почему люди обычно просто говорят "UTF-8", когда подразумевают также "UTF-EBCDIC". В остальной части этого документа мы тоже будем в основном использовать этот неформальный подход.) В ASCII UTF-8 кодовые точки, соответствующие 128 наименьшим порядковым номерам (0 - 127: символы ASCII), являются инвариантными. В UTF-EBCDIC существует 160 инвариантных символов. (Если вам интересно, инвариантные символы EBCDIC — это символы, которые имеют эквиваленты ASCII, плюс те, которые соответствуют управляющим символам C1 (128 - 159 на платформах ASCII)).
Строка, закодированная в UTF-EBCDIC, может быть длиннее (очень редко короче), чем строка, закодированная в UTF-8. Perl расширяет как UTF-8, так и UTF-EBCDIC, чтобы они могли кодировать кодовые точки, превышающие максимальное значение Unicode U+10FFFF. Оба расширения построены таким образом, чтобы позволять кодирование любой кодовой точки, которая помещается в 64-битовое слово.
UTF-EBCDIC определен в техническом отчете Unicode #16 (часто упоминаемом просто как TR16). Он определен на основе CCSID 1047, не учитывая различия для других кодовых страниц. Это позволяет легко обмениваться текстом между компьютерами, работающими с разными кодовыми страницами, но делает его непригодным для использования без адаптации в Perl на других кодовых страницах.
Причина этой непригодности заключается в том, что основное предположение Perl заключается в том, что символы, которые ему важны для анализа и лексического анализа, одинаковы независимо от того, закодирован ли текст в UTF-8. Например, Perl ожидает, что символ "[" будет иметь то же представление, независимо от того, закодирована ли содержащая его строка (или текст программы) в UTF-8 или нет. Для обеспечения этого Perl адаптирует UTF-EBCDIC к конкретной кодовой странице таким образом, чтобы все символы, которые он ожидает будут инвариантными UTF-8, действительно являлись инвариантными UTF-8. Это означает, что текст, сгенерированный на компьютере, работающем под одной версией UTF-EBCDIC Perl, должен быть переведен, чтобы быть понятным компьютеру, работающему под другой версией.
TR16 подразумевает метод расширения UTF-EBCDIC для кодирования точек до 2 ** 31 - 1. Perl использует этот метод для кодовых точек до 2 ** 30 - 1, но использует несовместимый метод для больших, чтобы иметь возможность обрабатывать гораздо большие кодовые точки, чем иначе.
Использование Encode
Начиная с Perl 5.8, вы можете использовать стандартный модуль Encode для преобразования из кодовых точек EBCDIC в Latin-1. Encode знает о большем количестве кодовых страниц EBCDIC, чем Perl может быть скомпилирован для запуска.
use Encode 'from_to';
my %ebcdic = ( 176 => 'cp37', 95 => 'cp1047', 106 => 'posix-bc' );
# $a is in EBCDIC code points
from_to($a, $ebcdic{ord '^'}, 'latin1');
# $a is ISO 8859-1 code pointsи из кодовых точек Latin-1 в кодовые точки EBCDIC
use Encode 'from_to';
my %ebcdic = ( 176 => 'cp37', 95 => 'cp1047', 106 => 'posix-bc' );
# $a is ISO 8859-1 code points
from_to($a, 'latin1', $ebcdic{ord '^'});
# $a is in EBCDIC code pointsДля выполнения операций ввода/вывода рекомендуется использовать функции автоматического преобразования PerlIO, см. perluniintro.
Начиная с версии 5.8, Perl использует библиотеку ввода/вывода PerlIO. Это позволяет использовать различные кодировки для каждого канала ввода/вывода. Например, вы можете использовать
use Encode;
open($f, ">:encoding(ascii)", "test.ascii");
print $f "Hello World!\n";
open($f, ">:encoding(cp37)", "test.ebcdic");
print $f "Hello World!\n";
open($f, ">:encoding(latin1)", "test.latin1");
print $f "Hello World!\n";
open($f, ">:encoding(utf8)", "test.utf8");
print $f "Hello World!\n";для получения четырех файлов, содержащих "Hello World!\n" в ASCII, CP 0037 EBCDIC, ISO 8859-1 (Latin-1) (в этом примере идентично ASCII, так как были напечатаны только символы ASCII), и UTF-EBCDIC (в этом примере идентично стандартному EBCDIC, так как были напечатаны только символы, которые не отличаются между EBCDIC и UTF-EBCDIC). Подробности см. в документации Encode::PerlIO.
Поскольку уровень PerlIO использует внутренний прямой ввод/вывод (байты), всё это полностью игнорирует такие вещи, как тип вашей файловой системы (ASCII или EBCDIC).
ТАБЛИЦЫ ОДНОГО БАЙТА
В следующих таблицах перечислены наборы ASCII и Latin-1 в порядке следования, включая подмножества: управляющие символы C0 (0..31), графические символы ASCII (32..7e), символ удаления (7f), управляющие символы C1 (80..9f) и Latin-1 (также известный как ISO 8859-1) (a0..ff). В названиях таблиц расширений Latin-1 до ASCII использованы имена символов, примерно соответствующие The Unicode Standard, Version 6.1, хотя с заменами, такими как s/LATIN// и s/VULGAR// во всех случаях; s/CAPITAL LETTER// в некоторых случаях; и s/SMALL LETTER ([A-Z])/\l$1/ в некоторых других случаях. Управляющие символы указаны с использованием сокращений Unicode 6.2. Различия между наборами 0037 и 1047 помечены **. Различия между наборами 1047 и POSIX-BC помечены ##. Все ord() указанные числа являются десятичными. Если вы хотели бы увидеть эту таблицу с октальными значениями, запустите таблицу (т. е. текст исходного кода pod этого документа, так как эта рецептура может не работать с переводом pod2_other_format) через:
- рецептура 0
perl -ne 'if(/(.{29})(\d+)\s+(\d+)\s+(\d+)\s+(\d+)/)' \
-e '{printf("%s%-5.03o%-5.03o%-5.03o%.03o\n",$1,$2,$3,$4,$5)}' \
perlebcdic.podЕсли вы хотите сохранить кодовые точки UTF-x, то в виде скрипта вы можете написать:
- рецептура 1
open(FH,"<perlebcdic.pod") or die "Could not open perlebcdic.pod: $!";
while (<FH>) {
if (/(.{29})(\d+)\s+(\d+)\s+(\d+)\s+(\d+)\s+(\d+)\.?(\d*)
\s+(\d+)\.?(\d*)/x)
{
if ($7 ne '' && $9 ne '') {
printf(
"%s%-5.03o%-5.03o%-5.03o%-5.03o%-3o.%-5o%-3o.%.03o\n",
$1,$2,$3,$4,$5,$6,$7,$8,$9);
}
elsif ($7 ne '') {
printf("%s%-5.03o%-5.03o%-5.03o%-5.03o%-3o.%-5o%.03o\n",
$1,$2,$3,$4,$5,$6,$7,$8);
}
else {
printf("%s%-5.03o%-5.03o%-5.03o%-5.03o%-5.03o%.03o\n",
$1,$2,$3,$4,$5,$6,$8);
}
}
}Если вы хотели бы увидеть эту таблицу с шестнадцатеричными значениями, запустите таблицу через:
- рецептура 2
perl -ne 'if(/(.{29})(\d+)\s+(\d+)\s+(\d+)\s+(\d+)/)' \
-e '{printf("%s%-5.02X%-5.02X%-5.02X%.02X\n",$1,$2,$3,$4,$5)}' \
perlebcdic.podИли, для сохранения кодовых точек UTF-x в шестнадцатеричном формате:
- рецептура 3
open(FH,"<perlebcdic.pod") or die "Could not open perlebcdic.pod: $!";
while (<FH>) {
if (/(.{29})(\d+)\s+(\d+)\s+(\d+)\s+(\d+)\s+(\d+)\.?(\d*)
\s+(\d+)\.?(\d*)/x)
{
if ($7 ne '' && $9 ne '') {
printf(
"%s%-5.02X%-5.02X%-5.02X%-5.02X%-2X.%-6.02X%02X.%02X\n",
$1,$2,$3,$4,$5,$6,$7,$8,$9);
}
elsif ($7 ne '') {
printf("%s%-5.02X%-5.02X%-5.02X%-5.02X%-2X.%-6.02X%02X\n",
$1,$2,$3,$4,$5,$6,$7,$8);
}
else {
printf("%s%-5.02X%-5.02X%-5.02X%-5.02X%-5.02X%02X\n",
$1,$2,$3,$4,$5,$6,$8);
}
}
}
ISO
8859-1 POS- CCSID
CCSID CCSID CCSID IX- 1047
chr 0819 0037 1047 BC UTF-8 UTF-EBCDIC
---------------------------------------------------------------------
<NUL> 0 0 0 0 0 0
<SOH> 1 1 1 1 1 1
<STX> 2 2 2 2 2 2
<ETX> 3 3 3 3 3 3
<EOT> 4 55 55 55 4 55
<ENQ> 5 45 45 45 5 45
<ACK> 6 46 46 46 6 46
<BEL> 7 47 47 47 7 47
<BS> 8 22 22 22 8 22
<HT> 9 5 5 5 9 5
<LF> 10 37 21 21 10 21 **
<VT> 11 11 11 11 11 11
<FF> 12 12 12 12 12 12
<CR> 13 13 13 13 13 13
<SO> 14 14 14 14 14 14
<SI> 15 15 15 15 15 15
<DLE> 16 16 16 16 16 16
<DC1> 17 17 17 17 17 17
<DC2> 18 18 18 18 18 18
<DC3> 19 19 19 19 19 19
<DC4> 20 60 60 60 20 60
<NAK> 21 61 61 61 21 61
<SYN> 22 50 50 50 22 50
<ETB> 23 38 38 38 23 38
<CAN> 24 24 24 24 24 24
<EOM> 25 25 25 25 25 25
<SUB> 26 63 63 63 26 63
<ESC> 27 39 39 39 27 39
<FS> 28 28 28 28 28 28
<GS> 29 29 29 29 29 29
<RS> 30 30 30 30 30 30
<US> 31 31 31 31 31 31
<SPACE> 32 64 64 64 32 64
! 33 90 90 90 33 90
" 34 127 127 127 34 127
# 35 123 123 123 35 123
$ 36 91 91 91 36 91
% 37 108 108 108 37 108
& 38 80 80 80 38 80
' 39 125 125 125 39 125
( 40 77 77 77 40 77
) 41 93 93 93 41 93
* 42 92 92 92 42 92
+ 43 78 78 78 43 78
, 44 107 107 107 44 107
- 45 96 96 96 45 96
. 46 75 75 75 46 75
/ 47 97 97 97 47 97
0 48 240 240 240 48 240
1 49 241 241 241 49 241
2 50 242 242 242 50 242
3 51 243 243 243 51 243
4 52 244 244 244 52 244
5 53 245 245 245 53 245
6 54 246 246 246 54 246
7 55 247 247 247 55 247
8 56 248 248 248 56 248
9 57 249 249 249 57 249
: 58 122 122 122 58 122
; 59 94 94 94 59 94
< 60 76 76 76 60 76
= 61 126 126 126 61 126
> 62 110 110 110 62 110
? 63 111 111 111 63 111
@ 64 124 124 124 64 124
A 65 193 193 193 65 193
B 66 194 194 194 66 194
C 67 195 195 195 67 195
D 68 196 196 196 68 196
E 69 197 197 197 69 197
F 70 198 198 198 70 198
G 71 199 199 199 71 199
H 72 200 200 200 72 200
I 73 201 201 201 73 201
J 74 209 209 209 74 209
K 75 210 210 210 75 210
L 76 211 211 211 76 211
M 77 212 212 212 77 212
N 78 213 213 213 78 213
O 79 214 214 214 79 214
P 80 215 215 215 80 215
Q 81 216 216 216 81 216
R 82 217 217 217 82 217
S 83 226 226 226 83 226
T 84 227 227 227 84 227
U 85 228 228 228 85 228
V 86 229 229 229 86 229
W 87 230 230 230 87 230
X 88 231 231 231 88 231
Y 89 232 232 232 89 232
Z 90 233 233 233 90 233
[ 91 186 173 187 91 173 ** ##
\ 92 224 224 188 92 224 ##
] 93 187 189 189 93 189 **
^ 94 176 95 106 94 95 ** ##
_ 95 109 109 109 95 109
` 96 121 121 74 96 121 ##
a 97 129 129 129 97 129
b 98 130 130 130 98 130
c 99 131 131 131 99 131
d 100 132 132 132 100 132
e 101 133 133 133 101 133
f 102 134 134 134 102 134
g 103 135 135 135 103 135
h 104 136 136 136 104 136
i 105 137 137 137 105 137
j 106 145 145 145 106 145
k 107 146 146 146 107 146
l 108 147 147 147 108 147
m 109 148 148 148 109 148
n 110 149 149 149 110 149
o 111 150 150 150 111 150
p 112 151 151 151 112 151
q 113 152 152 152 113 152
r 114 153 153 153 114 153
s 115 162 162 162 115 162
t 116 163 163 163 116 163
u 117 164 164 164 117 164
v 118 165 165 165 118 165
w 119 166 166 166 119 166
x 120 167 167 167 120 167
y 121 168 168 168 121 168
z 122 169 169 169 122 169
{ 123 192 192 251 123 192 ##
| 124 79 79 79 124 79
} 125 208 208 253 125 208 ##
~ 126 161 161 255 126 161 ##
<DEL> 127 7 7 7 127 7
<PAD> 128 32 32 32 194.128 32
<HOP> 129 33 33 33 194.129 33
<BPH> 130 34 34 34 194.130 34
<NBH> 131 35 35 35 194.131 35
<IND> 132 36 36 36 194.132 36
<NEL> 133 21 37 37 194.133 37 **
<SSA> 134 6 6 6 194.134 6
<ESA> 135 23 23 23 194.135 23
<HTS> 136 40 40 40 194.136 40
<HTJ> 137 41 41 41 194.137 41
<VTS> 138 42 42 42 194.138 42
<PLD> 139 43 43 43 194.139 43
<PLU> 140 44 44 44 194.140 44
<RI> 141 9 9 9 194.141 9
<SS2> 142 10 10 10 194.142 10
<SS3> 143 27 27 27 194.143 27
<DCS> 144 48 48 48 194.144 48
<PU1> 145 49 49 49 194.145 49
<PU2> 146 26 26 26 194.146 26
<STS> 147 51 51 51 194.147 51
<CCH> 148 52 52 52 194.148 52
<MW> 149 53 53 53 194.149 53
<SPA> 150 54 54 54 194.150 54
<EPA> 151 8 8 8 194.151 8
<SOS> 152 56 56 56 194.152 56
<SGC> 153 57 57 57 194.153 57
<SCI> 154 58 58 58 194.154 58
<CSI> 155 59 59 59 194.155 59
<ST> 156 4 4 4 194.156 4
<OSC> 157 20 20 20 194.157 20
<PM> 158 62 62 62 194.158 62
<APC> 159 255 255 95 194.159 255 ##
<NON-BREAKING SPACE> 160 65 65 65 194.160 128.65
<INVERTED "!" > 161 170 170 170 194.161 128.66
<CENT SIGN> 162 74 74 176 194.162 128.67 ##
<POUND SIGN> 163 177 177 177 194.163 128.68
<CURRENCY SIGN> 164 159 159 159 194.164 128.69
<YEN SIGN> 165 178 178 178 194.165 128.70
<BROKEN BAR> 166 106 106 208 194.166 128.71 ##
<SECTION SIGN> 167 181 181 181 194.167 128.72
<DIAERESIS> 168 189 187 121 194.168 128.73 ** ##
<COPYRIGHT SIGN> 169 180 180 180 194.169 128.74
<FEMININE ORDINAL> 170 154 154 154 194.170 128.81
<LEFT POINTING GUILLEMET> 171 138 138 138 194.171 128.82
<NOT SIGN> 172 95 176 186 194.172 128.83 ** ##
<SOFT HYPHEN> 173 202 202 202 194.173 128.84
<REGISTERED TRADE MARK> 174 175 175 175 194.174 128.85
<MACRON> 175 188 188 161 194.175 128.86 ##
<DEGREE SIGN> 176 144 144 144 194.176 128.87
<PLUS-OR-MINUS SIGN> 177 143 143 143 194.177 128.88
<SUPERSCRIPT TWO> 178 234 234 234 194.178 128.89
<SUPERSCRIPT THREE> 179 250 250 250 194.179 128.98
<ACUTE ACCENT> 180 190 190 190 194.180 128.99
<MICRO SIGN> 181 160 160 160 194.181 128.100
<PARAGRAPH SIGN> 182 182 182 182 194.182 128.101
<MIDDLE DOT> 183 179 179 179 194.183 128.102
<CEDILLA> 184 157 157 157 194.184 128.103
<SUPERSCRIPT ONE> 185 218 218 218 194.185 128.104
<MASC. ORDINAL INDICATOR> 186 155 155 155 194.186 128.105
<RIGHT POINTING GUILLEMET> 187 139 139 139 194.187 128.106
<FRACTION ONE QUARTER> 188 183 183 183 194.188 128.112
<FRACTION ONE HALF> 189 184 184 184 194.189 128.113
<FRACTION THREE QUARTERS> 190 185 185 185 194.190 128.114
<INVERTED QUESTION MARK> 191 171 171 171 194.191 128.115
<A WITH GRAVE> 192 100 100 100 195.128 138.65
<A WITH ACUTE> 193 101 101 101 195.129 138.66
<A WITH CIRCUMFLEX> 194 98 98 98 195.130 138.67
<A WITH TILDE> 195 102 102 102 195.131 138.68
<A WITH DIAERESIS> 196 99 99 99 195.132 138.69
<A WITH RING ABOVE> 197 103 103 103 195.133 138.70
<CAPITAL LIGATURE AE> 198 158 158 158 195.134 138.71
<C WITH CEDILLA> 199 104 104 104 195.135 138.72
<E WITH GRAVE> 200 116 116 116 195.136 138.73
<E WITH ACUTE> 201 113 113 113 195.137 138.74
<E WITH CIRCUMFLEX> 202 114 114 114 195.138 138.81
<E WITH DIAERESIS> 203 115 115 115 195.139 138.82
<I WITH GRAVE> 204 120 120 120 195.140 138.83
<I WITH ACUTE> 205 117 117 117 195.141 138.84
<I WITH CIRCUMFLEX> 206 118 118 118 195.142 138.85
<I WITH DIAERESIS> 207 119 119 119 195.143 138.86
<CAPITAL LETTER ETH> 208 172 172 172 195.144 138.87
<N WITH TILDE> 209 105 105 105 195.145 138.88
<O WITH GRAVE> 210 237 237 237 195.146 138.89
<O WITH ACUTE> 211 238 238 238 195.147 138.98
<O WITH CIRCUMFLEX> 212 235 235 235 195.148 138.99
<O WITH TILDE> 213 239 239 239 195.149 138.100
<O WITH DIAERESIS> 214 236 236 236 195.150 138.101
<MULTIPLICATION SIGN> 215 191 191 191 195.151 138.102
<O WITH STROKE> 216 128 128 128 195.152 138.103
<U WITH GRAVE> 217 253 253 224 195.153 138.104 ##
<U WITH ACUTE> 218 254 254 254 195.154 138.105
<U WITH CIRCUMFLEX> 219 251 251 221 195.155 138.106 ##
<U WITH DIAERESIS> 220 252 252 252 195.156 138.112
<Y WITH ACUTE> 221 173 186 173 195.157 138.113 ** ##
<CAPITAL LETTER THORN> 222 174 174 174 195.158 138.114
<SMALL LETTER SHARP S> 223 89 89 89 195.159 138.115
<a WITH GRAVE> 224 68 68 68 195.160 139.65
<a WITH ACUTE> 225 69 69 69 195.161 139.66
<a WITH CIRCUMFLEX> 226 66 66 66 195.162 139.67
<a WITH TILDE> 227 70 70 70 195.163 139.68
<a WITH DIAERESIS> 228 67 67 67 195.164 139.69
<a WITH RING ABOVE> 229 71 71 71 195.165 139.70
<SMALL LIGATURE ae> 230 156 156 156 195.166 139.71
<c WITH CEDILLA> 231 72 72 72 195.167 139.72
<e WITH GRAVE> 232 84 84 84 195.168 139.73
<e WITH ACUTE> 233 81 81 81 195.169 139.74
<e WITH CIRCUMFLEX> 234 82 82 82 195.170 139.81
<e WITH DIAERESIS> 235 83 83 83 195.171 139.82
<i WITH GRAVE> 236 88 88 88 195.172 139.83
<i WITH ACUTE> 237 85 85 85 195.173 139.84
<i WITH CIRCUMFLEX> 238 86 86 86 195.174 139.85
<i WITH DIAERESIS> 239 87 87 87 195.175 139.86
<SMALL LETTER eth> 240 140 140 140 195.176 139.87
<n WITH TILDE> 241 73 73 73 195.177 139.88
<o WITH GRAVE> 242 205 205 205 195.178 139.89
<o WITH ACUTE> 243 206 206 206 195.179 139.98
<o WITH CIRCUMFLEX> 244 203 203 203 195.180 139.99
<o WITH TILDE> 245 207 207 207 195.181 139.100
<o WITH DIAERESIS> 246 204 204 204 195.182 139.101
<DIVISION SIGN> 247 225 225 225 195.183 139.102
<o WITH STROKE> 248 112 112 112 195.184 139.103
<u WITH GRAVE> 249 221 221 192 195.185 139.104 ##
<u WITH ACUTE> 250 222 222 222 195.186 139.105
<u WITH CIRCUMFLEX> 251 219 219 219 195.187 139.106
<u WITH DIAERESIS> 252 220 220 220 195.188 139.112
<y WITH ACUTE> 253 141 141 141 195.189 139.113
<SMALL LETTER thorn> 254 142 142 142 195.190 139.114
<y WITH DIAERESIS> 255 223 223 223 195.191 139.115Если вы хотели бы увидеть вышеприведенную таблицу в порядке CCSID 0037, а не в порядке ASCII + Latin-1, запустите таблицу через:
- рецептура 4
perl \
-ne 'if(/.{29}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}/)'\
-e '{push(@l,$_)}' \
-e 'END{print map{$_->[0]}' \
-e ' sort{$a->[1] <=> $b->[1]}' \
-e ' map{[$_,substr($_,34,3)]}@l;}' perlebcdic.podЕсли вы хотели бы увидеть её в порядке CCSID 1047, измените число 34 в последней строке на 39, так:
- рецептура 5
perl \
-ne 'if(/.{29}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}/)'\
-e '{push(@l,$_)}' \
-e 'END{print map{$_->[0]}' \
-e ' sort{$a->[1] <=> $b->[1]}' \
-e ' map{[$_,substr($_,39,3)]}@l;}' perlebcdic.podЕсли вы хотели бы увидеть её в порядке POSIX-BC, измените число 34 в последней строке на 44, так:
- рецептура 6
perl \
-ne 'if(/.{29}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}\s{2,4}\d{1,3}/)'\
-e '{push(@l,$_)}' \
-e 'END{print map{$_->[0]}' \
-e ' sort{$a->[1] <=> $b->[1]}' \
-e ' map{[$_,substr($_,44,3)]}@l;}' perlebcdic.podТаблица в шестнадцатеричном формате, отсортированная по порядку 1047
С тех пор, как этот документ был впервые написан, конвенция всё больше и больше склоняется к использованию шестнадцатеричной нотации для кодовых точек. Для этого с рецептами и для сортировки требуется многошаговый процесс, поэтому для удобства здесь приведена таблица из вышеуказанного текста, повторно отсортированная по порядку кодовой страницы 1047 и с использованием шестнадцатеричной нотации.
ISO
8859-1 POS- CCSID
CCSID CCSID CCSID IX- 1047
chr 0819 0037 1047 BC UTF-8 UTF-EBCDIC
---------------------------------------------------------------------
<NUL> 00 00 00 00 00 00
<SOH> 01 01 01 01 01 01
<STX> 02 02 02 02 02 02
<ETX> 03 03 03 03 03 03
<ST> 9C 04 04 04 C2.9C 04
<HT> 09 05 05 05 09 05
<SSA> 86 06 06 06 C2.86 06
<DEL> 7F 07 07 07 7F 07
<EPA> 97 08 08 08 C2.97 08
<RI> 8D 09 09 09 C2.8D 09
<SS2> 8E 0A 0A 0A C2.8E 0A
<VT> 0B 0B 0B 0B 0B 0B
<FF> 0C 0C 0C 0C 0C 0C
<CR> 0D 0D 0D 0D 0D 0D
<SO> 0E 0E 0E 0E 0E 0E
<SI> 0F 0F 0F 0F 0F 0F
<DLE> 10 10 10 10 10 10
<DC1> 11 11 11 11 11 11
<DC2> 12 12 12 12 12 12
<DC3> 13 13 13 13 13 13
<OSC> 9D 14 14 14 C2.9D 14
<LF> 0A 25 15 15 0A 15 **
<BS> 08 16 16 16 08 16
<ESA> 87 17 17 17 C2.87 17
<CAN> 18 18 18 18 18 18
<EOM> 19 19 19 19 19 19
<PU2> 92 1A 1A 1A C2.92 1A
<SS3> 8F 1B 1B 1B C2.8F 1B
<FS> 1C 1C 1C 1C 1C 1C
<GS> 1D 1D 1D 1D 1D 1D
<RS> 1E 1E 1E 1E 1E 1E
<US> 1F 1F 1F 1F 1F 1F
<PAD> 80 20 20 20 C2.80 20
<HOP> 81 21 21 21 C2.81 21
<BPH> 82 22 22 22 C2.82 22
<NBH> 83 23 23 23 C2.83 23
<IND> 84 24 24 24 C2.84 24
<NEL> 85 15 25 25 C2.85 25 **
<ETB> 17 26 26 26 17 26
<ESC> 1B 27 27 27 1B 27
<HTS> 88 28 28 28 C2.88 28
<HTJ> 89 29 29 29 C2.89 29
<VTS> 8A 2A 2A 2A C2.8A 2A
<PLD> 8B 2B 2B 2B C2.8B 2B
<PLU> 8C 2C 2C 2C C2.8C 2C
<ENQ> 05 2D 2D 2D 05 2D
<ACK> 06 2E 2E 2E 06 2E
<BEL> 07 2F 2F 2F 07 2F
<DCS> 90 30 30 30 C2.90 30
<PU1> 91 31 31 31 C2.91 31
<SYN> 16 32 32 32 16 32
<STS> 93 33 33 33 C2.93 33
<CCH> 94 34 34 34 C2.94 34
<MW> 95 35 35 35 C2.95 35
<SPA> 96 36 36 36 C2.96 36
<EOT> 04 37 37 37 04 37
<SOS> 98 38 38 38 C2.98 38
<SGC> 99 39 39 39 C2.99 39
<SCI> 9A 3A 3A 3A C2.9A 3A
<CSI> 9B 3B 3B 3B C2.9B 3B
<DC4> 14 3C 3C 3C 14 3C
<NAK> 15 3D 3D 3D 15 3D
<PM> 9E 3E 3E 3E C2.9E 3E
<SUB> 1A 3F 3F 3F 1A 3F
<SPACE> 20 40 40 40 20 40
<NON-BREAKING SPACE> A0 41 41 41 C2.A0 80.41
<a WITH CIRCUMFLEX> E2 42 42 42 C3.A2 8B.43
<a WITH DIAERESIS> E4 43 43 43 C3.A4 8B.45
<a WITH GRAVE> E0 44 44 44 C3.A0 8B.41
<a WITH ACUTE> E1 45 45 45 C3.A1 8B.42
<a WITH TILDE> E3 46 46 46 C3.A3 8B.44
<a WITH RING ABOVE> E5 47 47 47 C3.A5 8B.46
<c WITH CEDILLA> E7 48 48 48 C3.A7 8B.48
<n WITH TILDE> F1 49 49 49 C3.B1 8B.58
<CENT SIGN> A2 4A 4A B0 C2.A2 80.43 ##
. 2E 4B 4B 4B 2E 4B
< 3C 4C 4C 4C 3C 4C
( 28 4D 4D 4D 28 4D
+ 2B 4E 4E 4E 2B 4E
| 7C 4F 4F 4F 7C 4F
& 26 50 50 50 26 50
<e WITH ACUTE> E9 51 51 51 C3.A9 8B.4A
<e WITH CIRCUMFLEX> EA 52 52 52 C3.AA 8B.51
<e WITH DIAERESIS> EB 53 53 53 C3.AB 8B.52
<e WITH GRAVE> E8 54 54 54 C3.A8 8B.49
<i WITH ACUTE> ED 55 55 55 C3.AD 8B.54
<i WITH CIRCUMFLEX> EE 56 56 56 C3.AE 8B.55
<i WITH DIAERESIS> EF 57 57 57 C3.AF 8B.56
<i WITH GRAVE> EC 58 58 58 C3.AC 8B.53
<SMALL LETTER SHARP S> DF 59 59 59 C3.9F 8A.73
! 21 5A 5A 5A 21 5A
$ 24 5B 5B 5B 24 5B
* 2A 5C 5C 5C 2A 5C
) 29 5D 5D 5D 29 5D
; 3B 5E 5E 5E 3B 5E
^ 5E B0 5F 6A 5E 5F ** ##
- 2D 60 60 60 2D 60
/ 2F 61 61 61 2F 61
<A WITH CIRCUMFLEX> C2 62 62 62 C3.82 8A.43
<A WITH DIAERESIS> C4 63 63 63 C3.84 8A.45
<A WITH GRAVE> C0 64 64 64 C3.80 8A.41
<A WITH ACUTE> C1 65 65 65 C3.81 8A.42
<A WITH TILDE> C3 66 66 66 C3.83 8A.44
<A WITH RING ABOVE> C5 67 67 67 C3.85 8A.46
<C WITH CEDILLA> C7 68 68 68 C3.87 8A.48
<N WITH TILDE> D1 69 69 69 C3.91 8A.58
<BROKEN BAR> A6 6A 6A D0 C2.A6 80.47 ##
, 2C 6B 6B 6B 2C 6B
% 25 6C 6C 6C 25 6C
_ 5F 6D 6D 6D 5F 6D
> 3E 6E 6E 6E 3E 6E
? 3F 6F 6F 6F 3F 6F
<o WITH STROKE> F8 70 70 70 C3.B8 8B.67
<E WITH ACUTE> C9 71 71 71 C3.89 8A.4A
<E WITH CIRCUMFLEX> CA 72 72 72 C3.8A 8A.51
<E WITH DIAERESIS> CB 73 73 73 C3.8B 8A.52
<E WITH GRAVE> C8 74 74 74 C3.88 8A.49
<I WITH ACUTE> CD 75 75 75 C3.8D 8A.54
<I WITH CIRCUMFLEX> CE 76 76 76 C3.8E 8A.55
<I WITH DIAERESIS> CF 77 77 77 C3.8F 8A.56
<I WITH GRAVE> CC 78 78 78 C3.8C 8A.53
` 60 79 79 4A 60 79 ##
: 3A 7A 7A 7A 3A 7A
# 23 7B 7B 7B 23 7B
@ 40 7C 7C 7C 40 7C
' 27 7D 7D 7D 27 7D
= 3D 7E 7E 7E 3D 7E
" 22 7F 7F 7F 22 7F
<O WITH STROKE> D8 80 80 80 C3.98 8A.67
a 61 81 81 81 61 81
b 62 82 82 82 62 82
c 63 83 83 83 63 83
d 64 84 84 84 64 84
e 65 85 85 85 65 85
f 66 86 86 86 66 86
g 67 87 87 87 67 87
h 68 88 88 88 68 88
i 69 89 89 89 69 89
<LEFT POINTING GUILLEMET> AB 8A 8A 8A C2.AB 80.52
<RIGHT POINTING GUILLEMET> BB 8B 8B 8B C2.BB 80.6A
<SMALL LETTER eth> F0 8C 8C 8C C3.B0 8B.57
<y WITH ACUTE> FD 8D 8D 8D C3.BD 8B.71
<SMALL LETTER thorn> FE 8E 8E 8E C3.BE 8B.72
<PLUS-OR-MINUS SIGN> B1 8F 8F 8F C2.B1 80.58
<DEGREE SIGN> B0 90 90 90 C2.B0 80.57
j 6A 91 91 91 6A 91
k 6B 92 92 92 6B 92
l 6C 93 93 93 6C 93
m 6D 94 94 94 6D 94
n 6E 95 95 95 6E 95
o 6F 96 96 96 6F 96
p 70 97 97 97 70 97
q 71 98 98 98 71 98
r 72 99 99 99 72 99
<FEMININE ORDINAL> AA 9A 9A 9A C2.AA 80.51
<MASC. ORDINAL INDICATOR> BA 9B 9B 9B C2.BA 80.69
<SMALL LIGATURE ae> E6 9C 9C 9C C3.A6 8B.47
<CEDILLA> B8 9D 9D 9D C2.B8 80.67
<CAPITAL LIGATURE AE> C6 9E 9E 9E C3.86 8A.47
<CURRENCY SIGN> A4 9F 9F 9F C2.A4 80.45
<MICRO SIGN> B5 A0 A0 A0 C2.B5 80.64
~ 7E A1 A1 FF 7E A1 ##
s 73 A2 A2 A2 73 A2
t 74 A3 A3 A3 74 A3
u 75 A4 A4 A4 75 A4
v 76 A5 A5 A5 76 A5
w 77 A6 A6 A6 77 A6
x 78 A7 A7 A7 78 A7
y 79 A8 A8 A8 79 A8
z 7A A9 A9 A9 7A A9
<INVERTED "!" > A1 AA AA AA C2.A1 80.42
<INVERTED QUESTION MARK> BF AB AB AB C2.BF 80.73
<CAPITAL LETTER ETH> D0 AC AC AC C3.90 8A.57
[ 5B BA AD BB 5B AD ** ##
<CAPITAL LETTER THORN> DE AE AE AE C3.9E 8A.72
<REGISTERED TRADE MARK> AE AF AF AF C2.AE 80.55
<NOT SIGN> AC 5F B0 BA C2.AC 80.53 ** ##
<POUND SIGN> A3 B1 B1 B1 C2.A3 80.44
<YEN SIGN> A5 B2 B2 B2 C2.A5 80.46
<MIDDLE DOT> B7 B3 B3 B3 C2.B7 80.66
<COPYRIGHT SIGN> A9 B4 B4 B4 C2.A9 80.4A
<SECTION SIGN> A7 B5 B5 B5 C2.A7 80.48
<PARAGRAPH SIGN> B6 B6 B6 B6 C2.B6 80.65
<FRACTION ONE QUARTER> BC B7 B7 B7 C2.BC 80.70
<FRACTION ONE HALF> BD B8 B8 B8 C2.BD 80.71
<FRACTION THREE QUARTERS> BE B9 B9 B9 C2.BE 80.72
<Y WITH ACUTE> DD AD BA AD C3.9D 8A.71 ** ##
<DIAERESIS> A8 BD BB 79 C2.A8 80.49 ** ##
<MACRON> AF BC BC A1 C2.AF 80.56 ##
] 5D BB BD BD 5D BD **
<ACUTE ACCENT> B4 BE BE BE C2.B4 80.63
<MULTIPLICATION SIGN> D7 BF BF BF C3.97 8A.66
{ 7B C0 C0 FB 7B C0 ##
A 41 C1 C1 C1 41 C1
B 42 C2 C2 C2 42 C2
C 43 C3 C3 C3 43 C3
D 44 C4 C4 C4 44 C4
E 45 C5 C5 C5 45 C5
F 46 C6 C6 C6 46 C6
G 47 C7 C7 C7 47 C7
H 48 C8 C8 C8 48 C8
I 49 C9 C9 C9 49 C9
<SOFT HYPHEN> AD CA CA CA C2.AD 80.54
<o WITH CIRCUMFLEX> F4 CB CB CB C3.B4 8B.63
<o WITH DIAERESIS> F6 CC CC CC C3.B6 8B.65
<o WITH GRAVE> F2 CD CD CD C3.B2 8B.59
<o WITH ACUTE> F3 CE CE CE C3.B3 8B.62
<o WITH TILDE> F5 CF CF CF C3.B5 8B.64
} 7D D0 D0 FD 7D D0 ##
J 4A D1 D1 D1 4A D1
K 4B D2 D2 D2 4B D2
L 4C D3 D3 D3 4C D3
M 4D D4 D4 D4 4D D4
N 4E D5 D5 D5 4E D5
O 4F D6 D6 D6 4F D6
P 50 D7 D7 D7 50 D7
Q 51 D8 D8 D8 51 D8
R 52 D9 D9 D9 52 D9
<SUPERSCRIPT ONE> B9 DA DA DA C2.B9 80.68
<u WITH CIRCUMFLEX> FB DB DB DB C3.BB 8B.6A
<u WITH DIAERESIS> FC DC DC DC C3.BC 8B.70
<u WITH GRAVE> F9 DD DD C0 C3.B9 8B.68 ##
<u WITH ACUTE> FA DE DE DE C3.BA 8B.69
<y WITH DIAERESIS> FF DF DF DF C3.BF 8B.73
\ 5C E0 E0 BC 5C E0 ##
<DIVISION SIGN> F7 E1 E1 E1 C3.B7 8B.66
S 53 E2 E2 E2 53 E2
T 54 E3 E3 E3 54 E3
U 55 E4 E4 E4 55 E4
V 56 E5 E5 E5 56 E5
W 57 E6 E6 E6 57 E6
X 58 E7 E7 E7 58 E7
Y 59 E8 E8 E8 59 E8
Z 5A E9 E9 E9 5A E9
<SUPERSCRIPT TWO> B2 EA EA EA C2.B2 80.59
<O WITH CIRCUMFLEX> D4 EB EB EB C3.94 8A.63
<O WITH DIAERESIS> D6 EC EC EC C3.96 8A.65
<O WITH GRAVE> D2 ED ED ED C3.92 8A.59
<O WITH ACUTE> D3 EE EE EE C3.93 8A.62
<O WITH TILDE> D5 EF EF EF C3.95 8A.64
0 30 F0 F0 F0 30 F0
1 31 F1 F1 F1 31 F1
2 32 F2 F2 F2 32 F2
3 33 F3 F3 F3 33 F3
4 34 F4 F4 F4 34 F4
5 35 F5 F5 F5 35 F5
6 36 F6 F6 F6 36 F6
7 37 F7 F7 F7 37 F7
8 38 F8 F8 F8 38 F8
9 39 F9 F9 F9 39 F9
<SUPERSCRIPT THREE> B3 FA FA FA C2.B3 80.62
<U WITH CIRCUMFLEX> DB FB FB DD C3.9B 8A.6A ##
<U WITH DIAERESIS> DC FC FC FC C3.9C 8A.70
<U WITH GRAVE> D9 FD FD E0 C3.99 8A.68 ##
<U WITH ACUTE> DA FE FE FE C3.9A 8A.69
<APC> 9F FF FF 5F C2.9F FF ##ОПРЕДЕЛЕНИЕ КОДОВЫХ СТРАНИЦ
Можно определить кодовую страницу, на которой вы работаете. Но сначала вы должны быть абсолютно уверены, что вам это нужно. Ваш код будет проще и, вероятно, так же портативен, если вам не нужно будет проверять кодовую страницу и выполнять различные действия в зависимости от нее. На самом деле существует лишь очень мало случаев, когда это сложно написать код, портативный для всех кодовых страниц. См. "Unicode и EBCDIC" в perluniintro о том, как портативно задавать символы.
Однако в некоторых случаях вы можете захотеть узнать, на какой кодовой странице вы работаете. Один из возможных примеров — сортировка во внутренних циклах, где критически важна производительность.
Чтобы определить, работаете ли вы под ASCII или EBCDIC, вы можете использовать возвращаемое значение ord() или chr(), чтобы проверить одно или несколько значений символов. Например:
$is_ascii = "A" eq chr(65);
$is_ebcdic = "A" eq chr(193);
$is_ascii = ord("A") == 65;
$is_ebcdic = ord("A") == 193;Требуется ещё меньше различий между кодовыми страницами EBCDIC, но для этого попробуйте посмотреть на один или несколько символов, которые отличаются между ними.
$is_ascii = ord('[') == 91;
$is_ebcdic_37 = ord('[') == 186;
$is_ebcdic_1047 = ord('[') == 173;
$is_ebcdic_POSIX_BC = ord('[') == 187;Однако, было бы неразумно писать тесты, такие как:
$is_ascii = "\r" ne chr(13); # WRONG
$is_ascii = "\n" ne chr(10); # ILL ADVISEDОчевидно, что первый из них не позволит отличить большинство платформ ASCII от CCSID 0037, 1047 или платформы POSIX-BC EBCDIC, так как "\r" eq chr(13) во всех этих кодированных наборах символов. Но обратите внимание также на то, что, поскольку "\n" является chr(13) и "\r" является chr(10) на старых Macintosh (которые являются платформами ASCII), второй $is_ascii тест приведёт к проблемам там.
Чтобы определить, был ли Perl скомпилирован под кодовой страницей EBCDIC, вы можете использовать модуль Config следующим образом:
use Config;
$is_ebcdic = $Config{'ebcdic'} eq 'define';ПРЕОБРАЗОВАНИЯ
utf8::unicode_to_native() и utf8::native_to_unicode()
Эти функции принимают входной числовой код точки в одной кодировке и возвращают эквивалентное значение в другой.
См. utf8.
tr///
Для преобразования строки символов из одного набора символов в другой достаточно простого списка чисел, например, в правых столбцах в таблице выше, вместе с оператором tr/// Perl. Данные в таблице упорядочены по ASCII/Latin1, поэтому столбцы EBCDIC обеспечивают удобные операции преобразования ASCII/Latin1 в EBCDIC, которые также легко обратимы.
Например, чтобы преобразовать ASCII/Latin1 в кодовую страницу 037, возьмите выходные данные из второго столбца чисел из рецепта 2 (изменённого для добавления "\" символов) и используйте его в tr/// следующим образом:
$cp_037 =
'\x00\x01\x02\x03\x37\x2D\x2E\x2F\x16\x05\x25\x0B\x0C\x0D\x0E\x0F' .
'\x10\x11\x12\x13\x3C\x3D\x32\x26\x18\x19\x3F\x27\x1C\x1D\x1E\x1F' .
'\x40\x5A\x7F\x7B\x5B\x6C\x50\x7D\x4D\x5D\x5C\x4E\x6B\x60\x4B\x61' .
'\xF0\xF1\xF2\xF3\xF4\xF5\xF6\xF7\xF8\xF9\x7A\x5E\x4C\x7E\x6E\x6F' .
'\x7C\xC1\xC2\xC3\xC4\xC5\xC6\xC7\xC8\xC9\xD1\xD2\xD3\xD4\xD5\xD6' .
'\xD7\xD8\xD9\xE2\xE3\xE4\xE5\xE6\xE7\xE8\xE9\xBA\xE0\xBB\xB0\x6D' .
'\x79\x81\x82\x83\x84\x85\x86\x87\x88\x89\x91\x92\x93\x94\x95\x96' .
'\x97\x98\x99\xA2\xA3\xA4\xA5\xA6\xA7\xA8\xA9\xC0\x4F\xD0\xA1\x07' .
'\x20\x21\x22\x23\x24\x15\x06\x17\x28\x29\x2A\x2B\x2C\x09\x0A\x1B' .
'\x30\x31\x1A\x33\x34\x35\x36\x08\x38\x39\x3A\x3B\x04\x14\x3E\xFF' .
'\x41\xAA\x4A\xB1\x9F\xB2\x6A\xB5\xBD\xB4\x9A\x8A\x5F\xCA\xAF\xBC' .
'\x90\x8F\xEA\xFA\xBE\xA0\xB6\xB3\x9D\xDA\x9B\x8B\xB7\xB8\xB9\xAB' .
'\x64\x65\x62\x66\x63\x67\x9E\x68\x74\x71\x72\x73\x78\x75\x76\x77' .
'\xAC\x69\xED\xEE\xEB\xEF\xEC\xBF\x80\xFD\xFE\xFB\xFC\xAD\xAE\x59' .
'\x44\x45\x42\x46\x43\x47\x9C\x48\x54\x51\x52\x53\x58\x55\x56\x57' .
'\x8C\x49\xCD\xCE\xCB\xCF\xCC\xE1\x70\xDD\xDE\xDB\xDC\x8D\x8E\xDF';
my $ebcdic_string = $ascii_string;
eval '$ebcdic_string =~ tr/\000-\377/' . $cp_037 . '/';Чтобы преобразовать из EBCDIC 037 в ASCII, просто измените порядок аргументов tr/// следующим образом:
my $ascii_string = $ebcdic_string;
eval '$ascii_string =~ tr/' . $cp_037 . '/\000-\377/';Аналогичным образом можно взять выходные данные из третьего столбца чисел из рецепта 2, чтобы получить $cp_1047 таблицу. Четвёртый столбец чисел из выходных данных рецепта 2 может предоставить $cp_posix_bc таблицу, подходящую для транскодирования.
Если вы хотели бы увидеть обратные таблицы, вам сначала нужно будет отсортировать по желаемому столбцу чисел, как в рецептах 4, 5 или 6, а затем взять выходные данные из первого столбца чисел.
iconv
Операционная совместимость XPG часто подразумевает наличие утилиты iconv, доступной из командной строки или из библиотеки C. Обратитесь к документации вашей системы для получения информации об iconv.
В OS/390 или z/OS см. справку по команде iconv(1). Один из способов вызова утилиты iconv командной строки изнутри Perl:
# OS/390 or z/OS example
$ascii_data = `echo '$ebcdic_data'| iconv -f IBM-1047 -t ISO8859-1`или обратное отображение:
# OS/390 or z/OS example
$ebcdic_data = `echo '$ascii_data'| iconv -f ISO8859-1 -t IBM-1047`Для других вариантов преобразования на основе Perl см. модули Convert::* в CPAN.
C RTL
Библиотеки времени выполнения C OS/390 и z/OS предоставляют функции _atoe() и _etoa().
РАЗЛИЧИЯ ОПЕРАТОРОВ
Оператор диапазона .. обрабатывает определённые диапазоны символов с осторожностью на платформах EBCDIC. Например, следующий массив будет содержать двадцать шесть элементов как на платформе EBCDIC, так и на платформе ASCII:
@alphabet = ('A'..'Z'); # $#alphabet == 25Битовые операторы, такие как & ^ |, могут возвращать разные результаты при работе со строковыми или символьными данными в программе Perl, выполняемой на платформе EBCDIC, по сравнению с выполнением на платформе ASCII. Вот пример, адаптированный из примера в perlop:
# EBCDIC-based examples
print "j p \n" ^ " a h"; # prints "JAPH\n"
print "JA" | " ph\n"; # prints "japh\n"
print "JAPH\nJunk" & "\277\277\277\277\277"; # prints "japh\n";
print 'p N$' ^ " E<H\n"; # prints "Perl\n";Интеревое свойство 32 управляющих символов C0 в таблице ASCII заключается в том, что они могут "буквально" быть построены как управляющие символы в Perl, например (chr(0) eq \c@)> (chr(1) eq \cA)> и так далее. Perl на платформах EBCDIC был портирован, чтобы принимать \c@ в chr(0) и \cA в chr(1) и т.д., но получаемые символы зависят от используемой кодовой страницы. В таблице ниже используются стандартные аббревиатуры для управляющих символов. Наборы POSIX-BC и 1047 идентичны в этом диапазоне и отличаются от набора 0037 только в одном месте (21 в десятичной системе). Обратите внимание, что символ конца строки может быть сгенерирован с помощью \cJ на платформах ASCII, но с помощью \cU на платформах 1047 или POSIX-BC и не может быть сгенерирован как управляющий символ "\c.letter." на платформах 0037. Обратите также внимание, что \c\ не может быть последним элементом в строке или регулярном выражении, так как он будет поглощать терминатор. Но \c\X — это FILE SEPARATOR, соединённый с X для всех X. Исключение \c? на ASCII, которое даёт не-C0 управляющий символ DEL, даёт исключительный управляющий символ APC на EBCDIC, который не входит в блок смежных управляющих символов. Обратите внимание, что тонкость этого заключается в том, что \c? на платформах ASCII является символом ASCII, в то время как он не эквивалентен ни одному символу ASCII на платформах EBCDIC.
chr ord 8859-1 0037 1047 && POSIX-BC
-----------------------------------------------------------------------
\c@ 0 <NUL> <NUL> <NUL>
\cA 1 <SOH> <SOH> <SOH>
\cB 2 <STX> <STX> <STX>
\cC 3 <ETX> <ETX> <ETX>
\cD 4 <EOT> <ST> <ST>
\cE 5 <ENQ> <HT> <HT>
\cF 6 <ACK> <SSA> <SSA>
\cG 7 <BEL> <DEL> <DEL>
\cH 8 <BS> <EPA> <EPA>
\cI 9 <HT> <RI> <RI>
\cJ 10 <LF> <SS2> <SS2>
\cK 11 <VT> <VT> <VT>
\cL 12 <FF> <FF> <FF>
\cM 13 <CR> <CR> <CR>
\cN 14 <SO> <SO> <SO>
\cO 15 <SI> <SI> <SI>
\cP 16 <DLE> <DLE> <DLE>
\cQ 17 <DC1> <DC1> <DC1>
\cR 18 <DC2> <DC2> <DC2>
\cS 19 <DC3> <DC3> <DC3>
\cT 20 <DC4> <OSC> <OSC>
\cU 21 <NAK> <NEL> <LF> **
\cV 22 <SYN> <BS> <BS>
\cW 23 <ETB> <ESA> <ESA>
\cX 24 <CAN> <CAN> <CAN>
\cY 25 <EOM> <EOM> <EOM>
\cZ 26 <SUB> <PU2> <PU2>
\c[ 27 <ESC> <SS3> <SS3>
\c\X 28 <FS>X <FS>X <FS>X
\c] 29 <GS> <GS> <GS>
\c^ 30 <RS> <RS> <RS>
\c_ 31 <US> <US> <US>
\c? * <DEL> <APC> <APC>* Примечание: \c? отображается как порядковый номер 127 (DEL) на платформах ASCII, но так как порядковый номер 127 не является управляющим символом на машинах EBCDIC, \c? вместо этого отображается на них как APC, что составляет 255 в 0037 и 1047, и 95 в POSIX-BC.
РАЗЛИЧИЯ ФУНКЦИЙ
-
chr() -
chr()должен быть задан аргументом числа кода EBCDIC для получения желаемого символьного возвращаемого значения на платформе EBCDIC. Например:$CAPITAL_LETTER_A = chr(193); -
ord() -
ord()вернёт значения кода EBCDIC на платформе EBCDIC. Например:$the_number_193 = ord("A"); -
pack() -
Шаблоны
"c"и"C"дляpack()зависят от кодировки набора символов. Примеры использования на EBCDIC включают:$foo = pack("CCCC",193,194,195,196); # $foo eq "ABCD" $foo = pack("C4",193,194,195,196); # same thing $foo = pack("ccxxcc",193,194,195,196); # $foo eq "AB\0\0CD"Шаблон
"U"был портирован на все платформы, чтобы означать "Unicode", поэтомуpack("U", 65) eq 'A'является верным на всех платформах. Если вы хотите получить исходные коды символов для нижних 256, используйте шаблон
"W". Это означает, что эквивалентностиpack("W", ord($character)) eq $character unpack("W", $character) == ord $characterбудут соблюдаться.
-
print() -
Следует быть осторожным с скалярами и строками, передаваемыми в print, содержащими кодировки ASCII. Одно из распространённых мест, где это может произойти, — это вывод заголовка типа MIME для написания скриптов CGI. Например, многие руководства по программированию на Perl рекомендуют что-то подобное:
print "Content-type:\ttext/html\015\012\015\012"; # this may be wrong on EBCDICВы можете вместо этого написать
print "Content-type:\ttext/html\r\n\r\n"; # OK for DGW et alи это будет работать переносимо.
Это происходит потому, что преобразование из EBCDIC в ASCII выполняется веб-сервером в данном случае. Обратитесь к документации вашего веб-сервера для получения дополнительной информации.
-
printf() -
Форматы, которые могут преобразовывать символы в числа и наоборот, будут отличаться от своих аналогов ASCII при выполнении на платформе EBCDIC. Примеры включают:
printf("%c%c%c",193,194,195); # prints ABC -
sort() -
Результаты сортировки EBCDIC могут отличаться от результатов сортировки ASCII, особенно для строк со смешанным регистром. Это обсуждается более подробно ниже.
-
sprintf() -
См. обсуждение
"printf()"выше. Пример использования sprintf:$CAPITAL_LETTER_A = sprintf("%c",193); -
unpack() -
См. обсуждение
"pack()"выше.
Обратите внимание, что можно написать переносимый код для этих функций, указав значения в числах Unicode и используя функцию преобразования:
printf("%c",utf8::unicode_to_native(65)); # prints A on all
# platforms
print utf8::native_to_unicode(ord("A")); # Likewise, prints 65См. "Unicode и EBCDIC" в perluniintro и "ПРЕОБРАЗОВАНИЯ" для других вариантов.
РАЗЛИЧИЯ В РЕГУЛЯРНЫХ ВЫРАЖЕНИЯХ
Вы можете писать свои регулярные выражения так же, как это делал бы пользователь на платформе ASCII. Но помните, что использование восьмеричной или шестнадцатеричной нотации для указания определённой точки кода даст вам символ, который кодовая страница EBCDIC отображает в ней нативно. (Это также верно для всех строк в двойных кавычках.) Если вы хотите писать переносимый код, просто используйте нотацию \N{U+...} везде, где вы бы использовали \x{...}, и не используйте восьмеричную нотацию вообще.
Начиная с Perl v5.22, это относится к диапазонам в квадратных скобках. Например, если вы скажете qr/[\N{U+20}-\N{U+7F}]/, это означает символы \N{U+20}, \N{U+21}, ..., \N{U+7F}. Этот диапазон охватывает все печатные символы, содержащиеся в наборе символов ASCII.
До версии v5.22 вы не могли указать переносимые диапазоны, за исключением (начиная с Perl v5.5.3) всех подмножеств диапазонов [A-Z] и [a-z] специально разработаны, чтобы не подбирать символы с пропуском. Например, символы, такие как "ô" (o WITH CIRCUMFLEX), которые находятся между "I" и "J", не будут соответствовать диапазону регулярного выражения /[H-K]/. Но если любой из концов диапазона явно задан как числовой (и ни один из них не указан с помощью \N{U+...}), символы с пропусками соответствуют:
/[\x89-\x91]/будет соответствовать \x8e, даже если \x89 — это "i", \x91 — это "j", а \x8e — это символ с пропусками с точки зрения алфавита.
Ещё одна конструкция, которой следует опасаться, — это ненадлежащее использование шестнадцатеричных (если вы не используете \N{U+...}) или восьмеричных констант в регулярных выражениях. Рассмотрим следующий набор подпрограмм:
sub is_c0 {
my $char = substr(shift,0,1);
$char =~ /[\000-\037]/;
}
sub is_print_ascii {
my $char = substr(shift,0,1);
$char =~ /[\040-\176]/;
}
sub is_delete {
my $char = substr(shift,0,1);
$char eq "\177";
}
sub is_c1 {
my $char = substr(shift,0,1);
$char =~ /[\200-\237]/;
}
sub is_latin_1 { # But not ASCII; not C1
my $char = substr(shift,0,1);
$char =~ /[\240-\377]/;
}Они действительны только на платформах ASCII. Начиная с Perl v5.22, простое изменение восьмеричных констант на эквивалентные значения \N{U+...} делает их переносимыми:
sub is_c0 {
my $char = substr(shift,0,1);
$char =~ /[\N{U+00}-\N{U+1F}]/;
}
sub is_print_ascii {
my $char = substr(shift,0,1);
$char =~ /[\N{U+20}-\N{U+7E}]/;
}
sub is_delete {
my $char = substr(shift,0,1);
$char eq "\N{U+7F}";
}
sub is_c1 {
my $char = substr(shift,0,1);
$char =~ /[\N{U+80}-\N{U+9F}]/;
}
sub is_latin_1 { # But not ASCII; not C1
my $char = substr(shift,0,1);
$char =~ /[\N{U+A0}-\N{U+FF}]/;
}И вот некоторые альтернативные переносимые способы их записи:
sub Is_c0 {
my $char = substr(shift,0,1);
return $char =~ /[[:cntrl:]]/a && ! Is_delete($char);
# Alternatively:
# return $char =~ /[[:cntrl:]]/
# && $char =~ /[[:ascii:]]/
# && ! Is_delete($char);
}
sub Is_print_ascii {
my $char = substr(shift,0,1);
return $char =~ /[[:print:]]/a;
# Alternatively:
# return $char =~ /[[:print:]]/ && $char =~ /[[:ascii:]]/;
# Or
# return $char
# =~ /[ !"\#\$%&'()*+,\-.\/0-9:;<=>?\@A-Z[\\\]^_`a-z{|}~]/;
}
sub Is_delete {
my $char = substr(shift,0,1);
return utf8::native_to_unicode(ord $char) == 0x7F;
}
sub Is_c1 {
use feature 'unicode_strings';
my $char = substr(shift,0,1);
return $char =~ /[[:cntrl:]]/ && $char !~ /[[:ascii:]]/;
}
sub Is_latin_1 { # But not ASCII; not C1
use feature 'unicode_strings';
my $char = substr(shift,0,1);
return ord($char) < 256
&& $char !~ /[[:ascii:]]/
&& $char !~ /[[:cntrl:]]/;
}Ещё один способ написания Is_latin_1() — это использование символов в указанном диапазоне:
sub Is_latin_1 {
my $char = substr(shift,0,1);
$char =~ /[ ¡¢£¤¥¦§¨©ª«¬®¯°±²³´µ¶·¸¹º»¼½¾¿ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏ]
[ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ]/x;
}Хотя эта форма может столкнуться с проблемами при передаче по сети (из-за наличия символов с 8 битами) или в не-ISO-латинских наборах символов. Но она позволяет Is_c1 быть переписанным так, чтобы он работал в Perl без 'unicode_strings' (раньше версии v5.14):
sub Is_latin_1 { # But not ASCII; not C1
my $char = substr(shift,0,1);
return ord($char) < 256
&& $char !~ /[[:ascii:]]/
&& ! Is_latin1($char);
}СЕТЬ
Большинство программ для работы с сокетами предполагает кодировку символов ASCII в сетевом порядке байтов. Исключением может быть написание скриптов CGI под хост-веб-сервером, где сервер может позаботиться о преобразовании за вас. Большинство хост-веб-серверов преобразуют данные EBCDIC в ISO-8859-1 или Unicode на выходе.
СОРТИРОВКА
Одно из основных отличий между наборами символов, основанных на ASCII, и наборами символов EBCDIC, заключается в относительном расположении символов при сортировке в естественном порядке. Наиболее важны прописные и строчные буквы, цифры и символ нижнего подчеркивания ("_"). В платформах ASCII естественный порядок сортировки предполагает, что цифры идут перед прописными буквами, которые идут перед символом подчеркивания, который, в свою очередь, идет перед строчными буквами. В EBCDIC, символ подчеркивания идёт первым, затем строчные буквы, затем прописные и, наконец, цифры. Если сортировать на платформе, основанной на ASCII, сокращение из двух букв для врача пойдет перед сокращением из двух букв для «драйва»; то есть:
@sorted = sort(qw(Dr. dr.)); # @sorted holds ('Dr.','dr.') on ASCII,
# but ('dr.','Dr.') on EBCDICСвойство строчных букв перед прописными в EBCDIC сохраняется даже в страницах Latin 1 EBCDIC, таких как 0037 и 1047. Примером может служить то, что «Ë» (E WITH DIAERESIS, 203) идёт перед «ë» (e WITH DIAERESIS, 235) в платформе ASCII, но последняя (83) идёт перед первой (115) в платформе EBCDIC. (Внимательные читатели заметят, что прописная форма «ß» SMALL LETTER SHARP S — это просто «SS», а прописные версии «ÿ» (маленькая y WITH DIAERESIS) и «µ» (MICRO SIGN) не находятся в диапазоне 0..255, а находятся в Unicode, в Perl, поддерживающем Unicode).
Порядок сортировки вызовет различия между результатами, полученными в платформах ASCII и EBCDIC. Ниже приведены некоторые рекомендации по тому, как справиться с этими различиями.
Игнорирование различий в сортировке ASCII и EBCDIC.
Это наименее вычислительно затратный стратегия. Возможно, потребуется некоторое обучение пользователей.
Использование вспомогательной функции сортировки
Это совершенно универсальная, но наиболее вычислительно затратная стратегия. Выберите один из наборов символов и преобразуйте его для каждого сравнения сортировки. Вот полный пример преобразования в порядок сортировки ASCII:
sub native_to_uni($) {
my $string = shift;
# Saves time on an ASCII platform
return $string if ord 'A' == 65;
my $output = "";
for my $i (0 .. length($string) - 1) {
$output
.= chr(utf8::native_to_unicode(ord(substr($string, $i, 1))));
}
# Preserve utf8ness of input onto the output, even if it didn't need
# to be utf8
utf8::upgrade($output) if utf8::is_utf8($string);
return $output;
}
sub ascii_order { # Sort helper
return native_to_uni($a) cmp native_to_uni($b);
}
sort ascii_order @list;ПРЕОБРАЗОВАНИЕ В ОДИН РЕЖИМ ЗАПИСИ, затем сортировка данных (для символов, отличных от цифр и подчеркивания)
Если вас не интересует, куда сортируются цифры и символ подчеркивания, вы можете сделать что-то вроде этого
sub case_insensitive_order { # Sort helper
return lc($a) cmp lc($b)
}
sort case_insensitive_order @list;Если производительность является проблемой, и вам не важно, является ли вывод в том же регистре, что и входные данные, используйте tr/// для преобразования в регистр, наиболее используемый в данных. Если данные в основном состоят из заглавных букв, не относящихся к Latin-1, примените tr/[a-z]/[A-Z]/, а затем sort(). Если данные в основном состоят из строчных букв, не относящихся к Latin-1, примените tr/[A-Z]/[a-z]/ перед сортировкой. Если данные в основном состоят из заглавных букв и включают символы Latin-1, примените:
tr/[a-z]/[A-Z]/;
tr/[àáâãäåæçèéêëìíîïðñòóôõöøùúûüýþ]/[ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝÞ/;
s/ß/SS/g;затем sort(). Если у вас есть выбор, лучше преобразовать все в строчные буквы, чтобы избежать проблем с двумя символами Latin-1, у которых заглавная форма находится вне Latin-1: «ÿ» (маленькая y WITH DIAERESIS) и «µ» (MICRO SIGN). Если вам все-таки нужно преобразовать в заглавные буквы, с помощью Perl, поддерживающего Unicode, можно сделать:
tr/ÿ/\x{178}/;
tr/µ/\x{39C}/;Выполнение сортировки только на одном типе платформы.
Эта стратегия может использовать сетевое соединение. Следовательно, она будет вычислительно затратной.
ФОРМАТЫ ПРЕОБРАЗОВАНИЯ
Существует множество способов преобразования данных с помощью внутринабора-символов сопоставления, которые служат различным целям. Сортировка обсуждалась в предыдущем разделе, и несколько других популярных методов сопоставления обсуждаются далее.
Декодирование и кодирование URL-адресов
Обратите внимание, что некоторые URL-адреса содержат шестнадцатеричные коды ASCII-символов в попытке преодолеть проблемы с символами или протоколами. Например, тильда не присутствует на каждой клавиатуре, поэтому URL-адрес вида:
http://www.pvhp.com/~pvhp/также может быть выражен как один из:
http://www.pvhp.com/%7Epvhp/
http://www.pvhp.com/%7epvhp/где 7E — шестнадцатеричный ASCII-код для «~». Вот пример декодирования такого URL-адреса в любой кодовой странице EBCDIC:
$url = 'http://www.pvhp.com/%7Epvhp/';
$url =~ s/%([0-9a-fA-F]{2})/
pack("c",utf8::unicode_to_native(hex($1)))/xge;В свою очередь, вот частичное решение задачи кодирования такого URL-адреса в любой кодовой странице EBCDIC:
$url = 'http://www.pvhp.com/~pvhp/';
# The following regular expression does not address the
# mappings for: ('.' => '%2E', '/' => '%2F', ':' => '%3A')
$url =~ s/([\t "#%&\(\),;<=>\?\@\[\\\]^`{|}~])/
sprintf("%%%02X",utf8::native_to_unicode(ord($1)))/xge;где более полное решение разбило бы URL-адрес на компоненты и применило бы полную подстановку s/// только к соответствующим частям.
Кодирование и декодирование uu
Шаблон u к pack() или unpack() отобразит данные EBCDIC в символах EBCDIC, эквивалентных их аналогам ASCII. Например, следующее выведет «Yes indeed\n» как на компьютере ASCII, так и на компьютере EBCDIC:
$all_byte_chrs = '';
for (0..255) { $all_byte_chrs .= chr($_); }
$uuencode_byte_chrs = pack('u', $all_byte_chrs);
($uu = <<'ENDOFHEREDOC') =~ s/^\s*//gm;
M``$"`P0%!@<("0H+#`T.#Q`1$A,4%187&!D:&QP='A\@(2(C)"4F)R@I*BLL
M+2XO,#$R,S0U-C<X.3H[/#T^/T!!0D-$149'2$E*2TQ-3D]045)35%565UA9
M6EM<75Y?8&%B8V1E9F=H:6IK;&UN;W!Q<G-T=79W>'EZ>WQ]?G^`@8*#A(6&
MAXB)BHN,C8Z/D)&2DY25EI>8F9J;G)V>GZ"AHJ.DI::GJ*FJJZRMKJ^PL;*S
MM+6VM[BYNKN\O;Z_P,'"P\3%QL?(R<K+S,W.S]#1TM/4U=;7V-G:V]S=WM_@
?X>+CY.7FY^CIZNOL[>[O\/'R\_3U]O?X^?K[_/W^_P``
ENDOFHEREDOC
if ($uuencode_byte_chrs eq $uu) {
print "Yes ";
}
$uudecode_byte_chrs = unpack('u', $uuencode_byte_chrs);
if ($uudecode_byte_chrs eq $all_byte_chrs) {
print "indeed\n";
}Вот очень экономный uudecoder, который будет работать в EBCDIC:
#!/usr/local/bin/perl
$_ = <> until ($mode,$file) = /^begin\s*(\d*)\s*(\S*)/;
open(OUT, "> $file") if $file ne "";
while(<>) {
last if /^end/;
next if /[a-z]/;
next unless int((((utf8::native_to_unicode(ord()) - 32 ) & 077)
+ 2) / 3)
== int(length() / 4);
print OUT unpack("u", $_);
}
close(OUT);
chmod oct($mode), $file;Кодирование и декодирование Quoted-Printable
В платформах с кодировкой ASCII можно удалить символы, выходящие за пределы напечатанного набора, используя:
# This QP encoder works on ASCII only
$qp_string =~ s/([=\x00-\x1F\x80-\xFF])/
sprintf("=%02X",ord($1))/xge;Начиная с Perl v5.22, это легко изменяется, чтобы работать портировано как в платформах ASCII, так и в EBCDIC.
# This QP encoder works on both ASCII and EBCDIC
$qp_string =~ s/([=\N{U+00}-\N{U+1F}\N{U+80}-\N{U+FF}])/
sprintf("=%02X",ord($1))/xge;Для более ранних версий Perl, кодировщик QP, который работает как в платформах ASCII, так и в EBCDIC, будет выглядеть примерно так:
$delete = utf8::unicode_to_native(ord("\x7F"));
$qp_string =~
s/([^[:print:]$delete])/
sprintf("=%02X",utf8::native_to_unicode(ord($1)))/xage;(хотя в коде производства замены могут выполняться в ветви EBCDIC с вызовом функции и отдельно в ветви ASCII без затрат на отображение тождества; в Perl v5.22 отображение тождества оптимизировано, поэтому затрат нет, но приведенный выше вариант проще и также доступен в v5.22).
Такие строки QP могут быть декодированы с помощью:
# This QP decoder is limited to ASCII only
$string =~ s/=([[:xdigit:][[:xdigit:])/chr hex $1/ge;
$string =~ s/=[\n\r]+$//;В то время как декодировщик QP, который работает как в платформах ASCII, так и в EBCDIC, будет выглядеть примерно так:
$string =~ s/=([[:xdigit:][:xdigit:]])/
chr utf8::native_to_unicode(hex $1)/xge;
$string =~ s/=[\n\r]+$//;Шифры Цезаря
Практика смещения алфавита на один или несколько символов для шифрования существует уже тысячи лет и была подробно описана Гаем Юлием Цезарем в его тексте «Записки о галльской войне». Однобуквенное смещение иногда называется вращением, а величина смещения указывается как число $n после строки 'rot' или "rot$n". Rot0 и rot26 обозначают отображения тождества в 26-буквенной английской версии латинского алфавита. Rot13 обладает интересным свойством, что последующие вызовы являются отображениями тождества (таким образом, rot13 является своей собственной нетривиальной обратной функцией в группе 26 вращений алфавита). Следовательно, следующее является кодировщиком и декодировщиком rot13, который будет работать в платформах ASCII и EBCDIC:
#!/usr/local/bin/perl
while(<>){
tr/n-za-mN-ZA-M/a-zA-Z/;
print;
}В строке:
perl -ne 'tr/n-za-mN-ZA-M/a-zA-Z/;print'Сортировка хешей и контрольные суммы
Perl преднамеренно случайным образом распределяет порядок хешей для обеспечения безопасности как в платформах ASCII, так и в EBCDIC.
Контрольные суммы EBCDIC будут отличаться для одного и того же файла, преобразованного в ASCII и наоборот.
I18N И L10N
Международная локализация (I18N) и локализация (L10N) поддерживаются, по крайней мере, в принципе, даже на платформах EBCDIC. Подробности зависят от системы и обсуждаются в разделе "ПРОБЛЕМЫ С ОПЕРАЦИОННОЙ СИСТЕМОЙ" ниже.
МНОГОБАЙТОВЫЕ НАБОРА СИМВОЛОВ
Perl работает с UTF-EBCDIC, многобайтовой кодировкой. В версиях Perl, более ранних, чем v5.22, могут быть различные ошибки в этом отношении.
Устаревшие многобайтовые кодовые страницы EBCDIC XXX.
ПРОБЛЕМЫ С ОПЕРАЦИОННОЙ СИСТЕМОЙ
Могут возникнуть несколько проблем, зависящих от системы, которые должны беспокоить программистов Perl для EBCDIC.
OS/400
- PASE
-
Среда PASE — это среда выполнения для OS/400, которая может запускать исполняемые файлы, созданные для PowerPC AIX в OS/400; см. perlos400. PASE основана на ASCII, а не на EBCDIC, как ILE.
- Доступ к IFS
-
XXX.
OS/390, z/OS
Perl работает в среде Unix Systems Services или USS.
sigaction-
SA_SIGINFOможет привести к ошибке сегментации. chcp-
chcp поддерживается как утилита оболочки для отображения и изменения кодовой страницы. См. также chcp(1).
- Доступ к наборам данных
-
Для доступа к последовательному набору данных попробуйте:
my @ds_records = `cat //DSNAME`;или:
my @ds_records = `cat //'HLQ.DSNAME'`;См. также модуль OS390::Stdio в CPAN.
iconv-
iconv поддерживается как утилита оболочки, так и функция C RTL. См. также справочные страницы iconv(1) и iconv(3).
- Локали
-
Локали поддерживаются. Могут быть неполадки, когда локаль — это другая кодовая страница EBCDIC, в которой некоторые символы кодовой страницы находятся в других позициях.
В настоящее время нет реальных локейлей UTF-8, даже если в некоторых именах локелей присутствует строка «UTF-8».
См. perllocale для получения информации о локали. Файлы L10N находятся в /usr/nls/locale.
$Config{d_setlocale}— это'define'в OS/390 или z/OS.
POSIX-BC?
XXX.
ОШИБКИ
-
Не все оболочки разрешат использование нескольких
-eстроковых аргументов perl, чтобы правильно конкатенировать их вместе как рецепты в данном документе 0, 2, 4, 5 и 6, возможно, предполагают. -
Существует значительное количество неудач тестов в модулях CPAN, поставляемых с Perl v5.22 и 5.24. Это касается только модулей, не поддерживаемых в первую очередь разработчиками Perl 5. Некоторые из них — это сбои только в тестах: они не понимают, что на платформах EBCDIC могут быть получены разные результаты. И некоторые сбои — это реальные ошибки. Если вы скомпилируете и выполните
make testна Perl, все тесты в каталоге/cpanбудут пропущены.Encode частично работает.
-
В более ранних версиях Perl, когда байтовые и символьные данные конкатенировались, новая строка иногда создавалась путем декодирования байтовых строк как ISO 8859-1 (Latin-1), даже если старая строка Unicode использовала EBCDIC.
См. также
perllocale, perlfunc, perlunicode, utf8.
ССЫЛКИ
http://anubis.dkuug.dk/i18n/charmaps
https://www.unicode.org/unicode/reports/tr16/
http://www.wps.com/projects/codes/ ASCII: Американский стандартный код для инфильтрации информации Том Дженнингс, сентябрь 1999 г.
Стандарт Unicode, версия 3.0 Консорциум Unicode, Лиза Мур, ред., ISBN 0-201-61633-5, Addison Wesley Developers Press, февраль 2000 г.
CDRA: IBM — Архитектура представления данных символов — Справочник и реестр, IBM SC09-2190-00, декабрь 1996 г.
«Разгадывание наборов символов», Андреа Вайн, Многоязычное вычисление и технологии, №26 Вып. 10 Вып. 4, август/сентябрь 1999 г.; ISSN 1523-0309; Многоязычное вычисление Inc. Сандпоинт, Айдахо, США.
Коды, шифры и другие криптографические и тайные средства связи Фред Б. Врикс, ISBN 1-57912-040-7, издательства Black Dog & Leventhal, 1998.
END_OF_DOCUMENT_MARKERhttp://www.bobbemer.com/P-BIT.HTM IBM - EBCDIC и бит P; Самая большая ошибка в компьютерном мире Роберт Бемер.
История
15 апреля 2001: добавлены UTF-8 и UTF-EBCDIC в главную таблицу, pvhp.
Автор
Питер Приммер pvhp@best.com написал это в 1999 и 2000 годах с помощью CCSID 0819 и 0037, поддержанные Крисом Личем и Андре Пираром A.Pirard@ulg.ac.be, а также ПОСІХ-BC помощью Томаса Дорнера Thomas.Dorner@start.de. Благодарность также Вики Купер, Филипу Ньютону, Уильяму Раффлоэру и Джо Смиту. Торговые марки, зарегистрированные торговые марки, знаки обслуживания и зарегистрированные знаки обслуживания, используемые в данном документе, являются собственностью соответствующих владельцев.
Сейчас поддерживается Perl5 Портерами.
© 1993–2020 Larry Wall and others
Licensed under the GNU General Public License version 1 or later, or the Artistic License.
The Perl logo is a trademark of the Perl Foundation.
https://perldoc.perl.org/5.32.0/perlebcdic
