класс Encoding

Экземпляр Encoding представляет кодировку символов, используемую в Ruby. Она определяется как константа в пространстве имён Encoding. Она имеет имя и, необязательно, псевдонимы:

Encoding::ISO_8859_1.name
#=> "ISO-8859-1"

Encoding::ISO_8859_1.names
#=> ["ISO-8859-1", "ISO8859-1"]

Методы Ruby, работающие с кодировками, возвращают или принимают экземпляры Encoding в качестве аргументов (когда метод принимает экземпляр Encoding в качестве аргумента, вместо него можно передать имя или псевдоним Encoding).

"some string".encoding
#=> #<Encoding:UTF-8>

string = "some string".encode(Encoding::ISO_8859_1)
#=> "some string"
string.encoding
#=> #<Encoding:ISO-8859-1>

"some string".encode "ISO-8859-1"
#=> "some string"

Encoding::ASCII_8BIT — это специальная кодировка, обычно используемая для байтовой строки, а не для строковой. Но, как следует из названия, её символы в диапазоне ASCII считаются символами ASCII. Это полезно, когда вы используете символы ASCII-8BIT с другими совместимыми с ASCII символами.

Изменение кодировки

Связанную Encoding строки String можно изменить двумя способами.

Во-первых, можно установить Encoding строки на новую Encoding без изменения внутреннего байтового представления строки с помощью String#force_encoding. Это способ указать Ruby правильную кодировку строки.

string
#=> "R\xC3\xA9sum\xC3\xA9"
string.encoding
#=> #<Encoding:ISO-8859-1>
string.force_encoding(Encoding::UTF_8)
#=> "R\u00E9sum\u00E9"

Во-вторых, можно выполнить транскодирование строки, то есть перевести её внутреннее байтовое представление в другую кодировку. Её связанная кодировка также будет установлена на другую кодировку. См. String#encode для различных форм транскодирования и класс Encoding::Converter для дополнительного управления процессом транскодирования.

string
#=> "R\u00E9sum\u00E9"
string.encoding
#=> #<Encoding:UTF-8>
string = string.encode!(Encoding::ISO_8859_1)
#=> "R\xE9sum\xE9"
string.encoding
#=> #<Encoding::ISO-8859-1>

Кодировка сценария

У каждого скрипта Ruby есть связанная Encoding, к которой будет привязана любая строковая константа, созданная в исходном коде.

По умолчанию кодировка сценария — Encoding::UTF_8 после версии 2.0, но её можно изменить с помощью магического комментария в первой строке файла исходного кода (или во второй, если в первой есть строка shebang). Комментарий должен содержать слово coding или encoding, за которым следует двоеточие, пробел и имя или псевдоним Encoding:

# encoding: UTF-8

"some string".encoding
#=> #<Encoding:UTF-8>

Ключевое слово __ENCODING__ возвращает кодировку сценария файла, в котором оно написано:

# encoding: ISO-8859-1

__ENCODING__
#=> #<Encoding:ISO-8859-1>

ruby -K изменит кодировку локали по умолчанию, но это не рекомендуется. Файлы исходного кода Ruby должны объявлять свою кодировку сценария с помощью магического комментария, даже если они зависят только от строк US-ASCII или регулярных выражений.

Кодировка локали

Кодировка по умолчанию среды. Обычно выводится из локали.

см. Encoding.locale_charmap, Encoding.find('locale')

Кодировка файловой системы

Кодировка строк из файловой системы среды по умолчанию. Используется для строк имён или путей файлов.

см. Encoding.find('filesystem')

Внешняя кодировка

Каждый объект IO имеет внешнюю кодировку, которая указывает кодировку, которую Ruby будет использовать для чтения данных. По умолчанию Ruby устанавливает внешнюю кодировку объекта IO на кодировку по умолчанию. Кодировка по умолчанию устанавливается кодировкой локали или опцией интерпретатора -E. Encoding.default_external возвращает текущее значение внешней кодировки.

ENV["LANG"]
#=> "UTF-8"
Encoding.default_external
#=> #<Encoding:UTF-8>

$ ruby -E ISO-8859-1 -e "p Encoding.default_external"
#<Encoding:ISO-8859-1>

$ LANG=C ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

Внешнюю кодировку по умолчанию также можно установить через Encoding.default_external=, но делать этого не следует, так как строки, созданные до и после изменения, будут иметь несогласованную кодировку. Вместо этого используйте ruby -E для вызова ruby с правильной внешней кодировкой.

Если известно, что фактическая кодировка данных объекта IO не совпадает с внешней кодировкой по умолчанию, можно сбросить её внешнюю кодировку с помощью IO#set_encoding или установить её при создании объекта IO (см. опции IO.new).

Внутренняя кодировка

Для обработки данных объекта IO, имеющего кодировку, отличную от внешней, можно установить внутреннюю кодировку. Ruby будет использовать эту внутреннюю кодировку для транскодирования данных при чтении из объекта IO.

Обратно, при записи данных в объект IO происходит транскодирование из внутренней кодировки во внешнюю кодировку объекта IO.

Внутреннюю кодировку объекта IO можно установить с помощью IO#set_encoding или при создании объекта IO (см. опции IO.new).

Внутренняя кодировка необязательна, и при её отсутствии используется внутренняя кодировка Ruby по умолчанию. Если не установлена явно, эта кодировка по умолчанию — nil, что означает, что по умолчанию транскодирование не выполняется.

Внутреннюю кодировку по умолчанию можно установить с помощью опции интерпретатора -E. Encoding.default_internal возвращает текущую внутреннюю кодировку.

$ ruby -e 'p Encoding.default_internal'
nil

$ ruby -E ISO-8859-1:UTF-8 -e "p [Encoding.default_external, \
  Encoding.default_internal]"
[#<Encoding:ISO-8859-1>, #<Encoding:UTF-8>]

Внутреннюю кодировку по умолчанию также можно установить через Encoding.default_internal=, но делать этого не следует, так как строки, созданные до и после изменения, будут иметь несогласованную кодировку. Вместо этого используйте ruby -E для вызова ruby с правильной внутренней кодировкой.

Пример с кодировкой IO

В следующем примере строка «Ru00E9sumu00E9» с кодировкой UTF-8 транскодируется для вывода в кодировку ISO-8859-1, затем считывается обратно и транскодируется в UTF-8:

string = "R\u00E9sum\u00E9"

open("transcoded.txt", "w:ISO-8859-1") do |io|
  io.write(string)
end

puts "raw text:"
p File.binread("transcoded.txt")
puts

open("transcoded.txt", "r:ISO-8859-1:UTF-8") do |io|
  puts "transcoded text:"
  p io.read
end

При записи файла внутренняя кодировка не задаётся, так как она необходима только для чтения. При чтении файла обе внутренняя и внешняя кодировки должны быть указаны, чтобы получить правильный результат.

$ ruby t.rb
raw text:
"R\xE9sum\xE9"

transcoded text:
"R\u00E9sum\u00E9"