класс Encoding

Экземпляр Encoding представляет кодировку символов, используемую в Ruby. Он определён как константа в пространстве имён Encoding. Он имеет имя и, необязательно, псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают экземпляры Encoding в качестве аргументов (когда метод принимает экземпляр Encoding в качестве аргумента, вместо него можно передать имя или псевдоним Encoding).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для байтовой строки, а не для символьной. Но, как следует из названия, её символы в диапазоне ASCII рассматриваются как символы ASCII. Это полезно, когда вы используете символы ASCII-8BIT вместе с другими совместимыми с ASCII символами.

Изменение кодировки

Связанная Encoding строки может быть изменена двумя способами.

Во-первых, можно установить Encoding строки на новую Encoding, не изменяя внутреннего байтового представления строки, с помощью String#force_encoding. Так вы можете указать Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно транскодировать строку, т.е. перевести её внутреннее байтовое представление в другую кодировку. Её связанная кодировка также будет установлена на другую кодировку. См. String#encode для различных форм транскодирования и класс Encoding::Converter для дополнительного контроля над процессом транскодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка сценария

Весь код сценария Ruby имеет связанную Encoding, которая будет связана с любой строкой-литералом, созданной в исходном коде.

По умолчанию кодировка сценария — Encoding::UTF-8 после версии 2.0, но её можно изменить с помощью магического комментария в первой строке файла исходного кода (или во второй строке, если в первой есть строка shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя или псевдоним Encoding:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку сценария файла, в котором написано это ключевое слово:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку по умолчанию региональных параметров, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку сценария с помощью магического комментария, даже если они зависят только от строк US-ASCII или регулярных выражений.

Кодировка региональных параметров

Кодировка по умолчанию среды. Обычно выводится из региональных параметров.

см. Encoding.locale_charmap, ::find('locale')

Кодировка файловой системы

Кодировка по умолчанию для строк из файловой системы среды. Используется для строк имён файлов или путей.

см. ::find('filesystem')

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на значение по умолчанию. Внешняя кодировка по умолчанию устанавливается кодировкой региональных параметров или параметром интерпретатора -E. ::default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешнюю кодировку по умолчанию также можно установить с помощью ::default_external=, но не следует этого делать, так как строки, созданные до и после изменения, будут иметь несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внешней кодировкой.

Когда вы знаете, что фактическая кодировка данных объекта IO не совпадает с внешней кодировкой по умолчанию, вы можете сбросить её внешнюю кодировку с помощью IO#set_encoding или установить её при создании объекта IO (см. опции IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, у которого кодировка отличается от внешней, можно установить его внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для транскодирования данных при чтении из объекта IO.

Обратно, при записи данных в объект IO данные транскодируются из внутренней кодировки во внешнюю кодировку объекта IO.

Внутреннюю кодировку объекта IO можно установить с помощью IO#set_encoding или при создании объекта IO (см. опции IO.new).

Внутренняя кодировка необязательна; если она не задана, используется внутренняя кодировка по умолчанию Ruby. Если она не установлена явно, эта внутренняя кодировка по умолчанию — nil, что означает, что по умолчанию транскодирование не происходит.

Внутреннюю кодировку по умолчанию можно установить с помощью параметра интерпретатора -E. ::default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Внутреннюю кодировку по умолчанию также можно установить с помощью ::default_internal=, но не следует этого делать, так как строки, созданные до и после изменения, будут иметь несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внутренней кодировкой.

Пример кодировки IO

В следующем примере строка «Ru00E9sumu00E9» в кодировке UTF-8 транскодируется для вывода в кодировку ISO-8859-1, затем считывается обратно и транскодируется в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не указана, так как она необходима только для чтения. При чтении файла необходимо указать как внутреннюю, так и внешнюю кодировки, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"