класс Encoding

Объект Encoding представляет кодировку символов, используемую в Ruby. Он определяется как константа в пространстве имен Encoding. Он имеет имя и необязательно псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают объекты Encoding в качестве аргументов (когда метод принимает объект Encoding в качестве аргумента, можно передать имя или псевдоним Encoding вместо этого).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для байтовой строки, а не для строкового представления символов. Но, как следует из названия, её символы в диапазоне ASCII считаются символами ASCII. Это полезно при использовании символов ASCII-8BIT с другими совместимыми с ASCII символами.

Изменение кодировки

Связанную Encoding строки String можно изменить двумя способами.

Во-первых, можно установить Encoding строки на новую Encoding без изменения внутреннего байтового представления строки с помощью String#force_encoding. Таким образом можно указать Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно транскодировать строку, т.е. перевести её внутреннее байтовое представление в другую кодировку. Её связанная кодировка также будет установлена на другую кодировку. См. String#encode для различных форм транскодирования и класс Encoding::Converter для дополнительного управления процессом транскодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка скрипта

У каждого кода скрипта Ruby есть связанная Encoding, которая будет ассоциироваться с любым String литералом, созданным в исходном коде.

По умолчанию кодировка скрипта — Encoding::UTF_8 после версии 2.0, но её можно изменить с помощью магического комментария в первой строке файла исходного кода (или во второй, если в первой строке есть shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя Encoding или его псевдоним:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку скрипта файла, в котором оно записано:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку локали по умолчанию, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку скрипта с помощью магического комментария даже тогда, когда они зависят только от строк US-ASCII или регулярных выражений.

Кодировка локали

Кодировка по умолчанию для среды. Обычно выводится из локали.

см. Encoding.locale_charmap, Encoding.find('locale')

Кодировка файловой системы

Кодировка по умолчанию для строк из файловой системы среды. Используется для строк имён или путей к файлам.

см. Encoding.find('filesystem')

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на кодировку по умолчанию для внешней кодировки. Внешняя кодировка по умолчанию устанавливается кодировкой локали или параметром интерпретатора -E. Encoding.default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешнюю кодировку по умолчанию также можно установить с помощью Encoding.default_external=, но этого делать не следует, так как у строк, созданных до и после изменения, будут несогласованные кодировки. Вместо этого используйте ruby -E для запуска ruby с правильной внешней кодировкой.

Если известно, что фактическая кодировка данных объекта IO отличается от внешней кодировки по умолчанию, можно сбросить её внешнюю кодировку с помощью IO#set_encoding или задать её при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, у которого кодировка отличается от внешней кодировки, можно установить внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для транскодирования данных при чтении из объекта IO.

Обратно, когда данные записываются в объект IO, они транскодируются из внутренней кодировки во внешнюю кодировку объекта IO.

Внутреннюю кодировку объекта IO можно установить с помощью IO#set_encoding или при создании объекта IO (см. параметры IO.new).

Внутренняя кодировка необязательна, и если она не задана, используется внутренняя кодировка по умолчанию Ruby. Если явно не задана, эта внутренняя кодировка по умолчанию — nil, что означает, что по умолчанию транскодирование не происходит.

Внутреннюю кодировку по умолчанию можно установить с помощью параметра интерпретатора -E. Encoding.default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Внутреннюю кодировку по умолчанию также можно установить с помощью Encoding.default_internal=, но этого делать не следует, так как у строк, созданных до и после изменения, будут несогласованные кодировки. Вместо этого используйте ruby -E для запуска ruby с правильной внутренней кодировкой.

IO пример кодировки

В следующем примере строка «Ru00E9sumu00E9» в кодировке UTF-8 транскодируется для вывода в кодировку ISO-8859-1, затем считывается обратно и транскодируется в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не указана, так как она необходима только для чтения. При чтении файла необходимо указать как внутреннюю, так и внешнюю кодировку, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"