класс Encoding

Экземпляр Encoding представляет кодировку символов, используемую в Ruby. Он определяется как константа в пространстве имен Encoding. У него есть имя и необязательно, псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают экземпляры Encoding в качестве аргументов (когда метод принимает экземпляр Encoding в качестве аргумента, можно передать вместо него имя или псевдоним Encoding).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для строковых байтов, а не для строковых символов. Но, как следует из названия, ее символы в диапазоне ASCII считаются символами ASCII. Это полезно, когда вы используете символы ASCII-8BIT с другими совместимыми с ASCII символами.

Изменение кодировки

Связанная кодировка строки может быть изменена двумя способами.

Во-первых, можно установить кодировку строки на новую кодировку без изменения внутреннего байтового представления строки с помощью String#force_encoding. Это то, как вы можете сообщить Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно перекодировать строку, т.е. преобразовать ее внутреннее байтовое представление в другую кодировку. Ее связанная кодировка также устанавливается на другую кодировку. См. String#encode для различных форм перекодирования и класс Encoding::Converter для дополнительного управления процессом перекодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка скрипта

У всего кода скрипта Ruby есть связанная кодировка, которая будет связана с любой строкой-литералом, созданной в исходном коде.

По умолчанию кодировка скрипта составляет Encoding::UTF-8 после версии 2.0, но ее можно изменить с помощью магического комментария в первой строке файла исходного кода (или во второй, если в первой есть строка shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя или псевдоним кодировки:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку скрипта файла, в котором оно написано:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку по умолчанию, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку скрипта с помощью магического комментария, даже если они зависят только от строк US-ASCII или регулярных выражений.

Локальная кодировка

Кодировка по умолчанию среды. Обычно извлекается из локали.

см. ::locale_charmap, ::find('locale')

Кодировка файловой системы

Кодировка по умолчанию для строк из файловой системы среды. Используется для строк имен файлов или путей.

см. ::find('filesystem')

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на кодировку по умолчанию. Кодировка по умолчанию определяется кодировкой локали или интерпретатором -E параметром. ::default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешняя кодировка по умолчанию также может быть установлена с помощью ::default_external=, но этого делать не следует, так как у строк, созданных до и после изменения, будут несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внешней кодировкой.

Если вам известно, что фактическая кодировка данных объекта IO отличается от внешней кодировки по умолчанию, вы можете сбросить ее внешнюю кодировку с помощью IO#set_encoding или установить ее при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, имеющего кодировку, отличную от внешней кодировки, можно установить его внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для перекодирования данных при чтении из объекта IO.

Обратно, при записи данных в объект IO они перекодируются из внутренней кодировки во внешнюю кодировку объекта IO.

Внутренняя кодировка объекта IO может быть установлена с помощью IO#set_encoding или при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка необязательна, и когда она не установлена, используется кодировка по умолчанию Ruby. Если не указано явно, эта кодировка по умолчанию — nil, что означает, что по умолчанию перекодирование не происходит.

Кодировка по умолчанию может быть установлена с помощью параметра интерпретатора -E. ::default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Кодировка по умолчанию также может быть установлена с помощью ::default_internal=, но этого делать не следует, так как у строк, созданных до и после изменения, будут несовместимые кодировки. Вместо этого используйте ruby -E для вызова ruby с правильной внутренней кодировкой.

Пример кодировки IO

В следующем примере строка «Ru00E9sumu00E9» с кодировкой UTF-8 перекодируется для вывода в кодировку ISO-8859-1, затем считывается обратно и перекодируется в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не задана, так как она необходима только для чтения. При чтении файла необходимо указать как внутреннюю, так и внешнюю кодировку, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"