класс Encoding

Экземпляр Encoding представляет кодировку символов, используемую в Ruby. Она определена как константа в пространстве имён Encoding. Она имеет имя и, необязательно, псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают экземпляры Encoding в качестве аргументов (когда метод принимает экземпляр Encoding в качестве аргумента, вместо него можно передать имя или псевдоним Encoding).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для байтовой строки, а не для строки символов. Однако, как следует из названия, её символы в диапазоне ASCII рассматриваются как символы ASCII. Это полезно, когда вы используете символы ASCII-8BIT вместе с другими совместимыми с ASCII символами.

Изменение кодировки

Связанную Encoding строки String можно изменить двумя способами.

Во-первых, можно установить Encoding строки на новую Encoding без изменения внутреннего байтового представления строки с помощью String#force_encoding. Это позволяет указать Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно выполнить транскодирование строки, т.е. перевести её внутреннее байтовое представление в другую кодировку. При этом её связанная кодировка также устанавливается на другую кодировку. См. String#encode для различных форм транскодирования и класс Encoding::Converter для дополнительного контроля над процессом транскодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка сценария

У каждого кода сценария Ruby есть связанная Encoding, к которой будет привязана любая строковая константа, созданная в исходном коде.

По умолчанию кодировка сценария — Encoding::UTF-8 после версии 2.0, но её можно изменить с помощью магического комментария в первой строке исходного файла (или во второй, если в первой есть shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя или псевдоним Encoding:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку сценария файла, в котором оно написано:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку по умолчанию, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку сценария с помощью магического комментария, даже если они зависят только от строк US-ASCII или регулярных выражений.

Кодировка локали

Кодировка по умолчанию для среды. Обычно выводится из локали.

См. Encoding.locale_charmap, Encoding.find('locale')

Кодировка файловой системы

Кодировка по умолчанию для строк из файловой системы среды. Используется для строк имён файлов или путей.

См. Encoding.find('filesystem')

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на внешнюю кодировку по умолчанию. Внешняя кодировка по умолчанию устанавливается кодировкой локали или опцией интерпретатора -E. Encoding.default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешнюю кодировку по умолчанию также можно установить с помощью Encoding.default_external=, но этого делать не следует, так как строки, созданные до и после изменения, будут иметь несогласованные кодировки. Вместо этого используйте ruby -E для запуска ruby с правильной внешней кодировкой.

Если известно, что фактическая кодировка данных объекта IO не совпадает с внешней кодировкой по умолчанию, можно сбросить её внешнюю кодировку с помощью IO#set_encoding или установить её при создании объекта IO (см. опции IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, у которого кодировка отличается от внешней, можно установить внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для транскодирования данных при чтении из объекта IO.

Обратно, при записи данных в объект IO они транскодируются из внутренней кодировки во внешнюю кодировку объекта IO.

Внутреннюю кодировку объекта IO можно установить с помощью IO#set_encoding или при создании объекта IO (см. опции IO.new).

Внутренняя кодировка необязательна, и если она не задана, используется внутренняя кодировка по умолчанию Ruby. Если она не указана явно, эта внутренняя кодировка по умолчанию — nil, что означает, что по умолчанию транскодирования не происходит.

Внутреннюю кодировку по умолчанию можно установить с помощью опции интерпретатора -E. Encoding.default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Внутреннюю кодировку по умолчанию также можно установить с помощью Encoding.default_internal=, но этого делать не следует, так как строки, созданные до и после изменения, будут иметь несогласованные кодировки. Вместо этого используйте ruby -E для запуска ruby с правильной внутренней кодировкой.

IO пример кодировки

В следующем примере строка «Ru00E9sumu00E9» с кодировкой UTF-8 транскодируется для вывода в кодировку ISO-8859-1, затем считывается обратно и транскодируется в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не указывается, так как она необходима только для чтения. При чтении файла необходимо указать как внутреннюю, так и внешнюю кодировку, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"