класс Encoding

Объект Encoding представляет кодировку символов, используемую в Ruby. Она определена как константа в пространстве имён Encoding. Она имеет имя и, необязательно, псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают объекты Encoding в качестве аргументов (когда метод принимает объект Encoding в качестве аргумента, можно передать имя или псевдоним Encoding вместо него).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для байтовой строки, а не для строковой. Но, как следует из названия, её символы в диапазоне ASCII рассматриваются как символы ASCII. Это полезно, когда вы используете символы ASCII-8BIT вместе с другими совместимыми с ASCII символами.

Изменение кодировки

Связанная Encoding строки String может быть изменена двумя способами.

Во-первых, можно установить Encoding строки на новую Encoding, не изменяя внутреннее байтовое представление строки, с помощью String#force_encoding. Это позволяет указать Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно транскодировать строку, т.е. преобразовать её внутреннее байтовое представление в другую кодировку. Её связанная кодировка также устанавливается на новую кодировку. Смотрите String#encode для различных форм транскодирования и класс Encoding::Converter для дополнительного управления процессом транскодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка сценария

Каждый сценарий Ruby имеет связанную Encoding, которая будет ассоциироваться с любой строковой литеральной константой, созданной в исходном коде.

По умолчанию кодировка сценария — Encoding::UTF_8 после версии 2.0, но её можно изменить с помощью магической строки в первой строке исходного файла (или второй, если в первой есть shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя или псевдоним Encoding:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку сценария файла, в котором оно записано:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку локали по умолчанию, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку сценария с помощью магической строки, даже если они зависят только от строк US-ASCII или регулярных выражений.

Кодировка локали

Кодировка по умолчанию для среды. Обычно выводится из локали.

см. Encoding.locale_charmap, Encoding.find(‘locale’)

Кодировка файловой системы

Кодировка по умолчанию для строк из файловой системы среды. Используется для строк имён или путей файлов.

см. Encoding.find(‘filesystem’)

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на внешнюю кодировку по умолчанию. Внешняя кодировка по умолчанию устанавливается кодировкой локали или опцией интерпретатора -E. Encoding.default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешнюю кодировку по умолчанию также можно установить с помощью Encoding.default_external=, но не следует этого делать, так как строки, созданные до и после изменения, будут иметь несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внешней кодировкой.

Когда известно, что фактическая кодировка данных объекта IO не совпадает с внешней кодировкой по умолчанию, можно сбросить её внешнюю кодировку с помощью IO#set_encoding или установить её при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, имеющего кодировку, отличную от внешней, можно установить его внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для транскодирования данных при чтении из объекта IO.

Обратно, при записи данных в объект IO они транскодируются из внутренней кодировки во внешнюю кодировку объекта IO.

Внутреннюю кодировку объекта IO можно установить с помощью IO#set_encoding или при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка необязательна, и при её отсутствии используется внутренняя кодировка по умолчанию Ruby. Если она не указана явно, эта внутренняя кодировка по умолчанию — nil, что означает, что транскодирование по умолчанию не выполняется.

Внутреннюю кодировку по умолчанию можно установить с помощью опции интерпретатора -E. Encoding.default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Внутреннюю кодировку по умолчанию также можно установить с помощью Encoding.default_internal=, но не следует этого делать, так как строки, созданные до и после изменения, будут иметь несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внутренней кодировкой.

IO пример кодировки

В следующем примере строка «Ru00E9sumu00E9» в кодировке UTF-8 транскодируется для вывода в кодировку ISO-8859-1, затем считывается и транскодируется обратно в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не указана, так как она необходима только для чтения. При чтении файла необходимо указать как внутреннюю, так и внешнюю кодировку, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"