Кодировка UTF-8 — это восьмибитная система присваивания номеров графическим символам. В Интернете все, что мы видим, на экране передается в цифрах, а не в графическом написании. В него оно впоследствии преобразуется. UTF-8 (от англ. Unicode Transformation Format) максимально компактно трансформирует символы, используя переменное количество байт (от 1 до 4). Притом называется 8-ми битной. Сертификационная документация ISO/IEC 10646 Annex D и RFC 3629 официально закрепила ее.
История развития кодировки UTF-8
Кодовая страница – это таблица, которая сопоставляет каждому значению байта тот или иной символ (или его отсутствие). Естественно, для того, чтобы всем было понятно, что означает некая комбинация нужно было изобрести кодировку. И это сделали.
Сначала была создана кодировка ASCII. Она является 7-ми битной. Семиричный механизм преобразования показал себя достаточно проблемным, поскольку записывал код слишком длинно.
Далее придумали кодировки UTF-16 и UTF-32, в которых для конверсии одного символа затрачивается сразу 4 или 2 байта. Безусловно, такие механизмы нагружают интернет-сайт, а для его владельца и пользователей последствия видны в медленной загрузке страниц и их содержания. И веб-разработчикам пришлось выдумать нечто более компактное, экономящее ресурсы — UTF-8.
Сравнение UTF-8 и UTF-16
Символы в UTF-8 могут встречаться длиной от 1 до 4 байт. С помощью данной кодировки отражается любой символ. UTF-8 обратно совместима с ASCII, но рекомендованной кодировкой для веб-страниц и электронной почты является UTF-8.
В UTF-16 16-битный формат преобразования Unicode позволяет кодировать любые символы переменной длины. Эта кодировка используется в основных средах разработки и операционных системах:
- JAVA;
- NET;
- Microsoft Windows 2000/2003/Vista/CE/XP
Отметим, что любые кодировки записывают, конвертируют и переписывают единую систему кодирования для всего мира — Unicode. Unicode включает все используемые человечеством символы, знаки и алфавиты.
UTF-16 позволяет хранить 65536 кодов символов (16 бит), а параллельно существующая 32-битная система Unicode поддерживает 4 294 967 296 кодов символов.
Понятие кодовой точки
Для передачи любого символа его сначала нужно закодировать по единому языку кодировки Unicode. С практической точки зрения Unicode — это таблица, которая назначает уникальные номера различным символам.
Разница в дополнительных системах кодировок состоит в степени компрессии. Сайты в Интернете, в отличие от операционных систем нуждаются в повышенной компрессии (сжатии) кода.
Измерять это позволяет единица, называемая “кодовая точка”. К примеру, чтобы преобразовать в компьютерный текст символ «!» в UTF-8 применяется запись U+0021. Компьютеры воспринимают информацию как комбинацию нулей и единиц. Люди — узнавая графические символы и буквы, притом необходимо знать язык написания. Поэтому получая информацию, компьютер переводит ее на код из комбинации единиц и нулей, хранит, передает, а когда появляется необходимость снова выдать ее на обозрение пользователям, опять транформирует нули и единицы в символы.
Для осуществления таких комбинаций разработаны кодировки для “переворачивания” единого языка Unicode:
- UTF-8.
- UTF-16.
- UTF-32.
- KOI8-R и CP866 (первые с поддержкой русских букв и кириллицы).
- Windows-1251 (1 байт для шифрования символа).
- ASCII (базовая кодировка “аски” также с 1 байт для символа, что крайне мало).
Так вот комбинации символов у кодовых точек этих систем будут разными. Это сравнимо с разными языками. Они зашифровывают одно и тоже неодинаковыми методами. Кодовая точка представляет собой некий комплект чисел, формирующих кодовое пространство (диапазон кодовой точки). Применительно к языку Java кодовая точка — это код символа из диапазона от 0 до 10FFFF. 10FFFF — это самая большая кодовая точка, определенная на настоящее время.
У языка php ( а именно он используется на сайтах WordPress) кодовые точки выглядят иначе — в формате UTF-8.
Где применима кодировка UTF-8
UTF-8 является инструментом кодирования всех сайтов, созданных на базе языка php. Например, WordPress. Однако, не только сайт, но и сопровождающие его технические файлы также нужно записывать в этой кодировке.
Файл robots.txt нужно настраивать исключительно в UTF-8. Обычно при его создании можно выбирать кодировку. Выбирайте UTF-8 и копируйте в созданный файл текст вашего роботса. Его предварительно можно создать в Ворде или любом другом текстовом редакторе на рабочем столе.
UTF-8 в 2024 году применяется в 97% случаев шифрования всех символов в комбинации нулей и единиц. Если лет 15-20 назад эту роль выполняла ASCII, то в современных реалиях всё перестроилось на UTF-8.
Таким образом, это сейчас применимо почти как кодировка по умолчанию. И если где-то в каких-то настройках в панели управления сайтами или в его коде перед вами встал вопрос выбора кодировки (а вы не сильны в программировании), то смело выбирайте UTF-8. Высока вероятность, что выбор будет сделан правильно. На практике это может выглядеть так:
