TT Text Tools

Проверка символов Unicode — кодовые точки, названия и байты

Анализ текста по символам: кодовые точки Unicode, названия, категории, письменности, байты UTF-8 и UTF-16, предупреждения о невидимых и похожих символах.

🔒 Работает полностью в вашем браузере — ничего не загружается

0
Characters (graphemes)
0
Code points
0
UTF-16 units
0
UTF-8 bytes
0
Warnings
CharCode pointNameCategoryScriptUTF-8UTF-16Note
Advertisement

Узнайте, из чего на самом деле состоит ваш текст

Текст, который выглядит обычно, может скрывать сюрпризы: пробел нулевой ширины, ломающий пароль или поиск, неразрывный пробел, блокирующий импорт CSV, кириллическая буква в доменном имени или лигатура, которая вовсе не равна двум буквам, на которые похожа. Инструмент для проверки символов Unicode разбирает любую строку на отдельные кодовые точки и показывает для каждой символ, кодовую точку U+, официальное название Unicode, общую категорию (буква, знак, пунктуация, символ, разделитель, управляющий символ, форматирование…), письменность и точные байты, которыми она хранится в UTF-8 и UTF-16.

Сводка считает символы так, как их видят пользователи (кластеры графем), кодовые точки, кодовые единицы UTF-16 — длину, которую сообщают JavaScript, Java и C#, — и байты UTF-8, которыми обычно ограничены базы данных и сетевые протоколы. Все четыре значения рядом объясняют, почему эмодзи может считаться за один, два или четыре символа в зависимости от того, кто считает.

Находите невидимые и похожие символы

Строки подсвечиваются, когда что-то заслуживает внимания. Помечаются невидимые символы форматирования, такие как пробелы нулевой ширины, соединители (joiners), метки порядка байтов и двунаправленные управляющие символы, а также управляющие символы, символы для частного использования, необычные пробелы и селекторы вариантов. Символы совместимости — полноширинные буквы, лигатуры, верхние индексы и математические буквенно-цифровые символы — помечаются вместе с обычным символом, который они обычно заменяют.

Похожие буквы из кириллицы, греческого и армянского алфавитов, имитирующие латинские, помечаются, когда встречаются в латинском тексте, а любое слово, смешивающее письменности, выделяется над таблицей. Это классическая схема гомографических атак, когда «pаypal.com» использует кириллическую «а», чтобы выдать себя за настоящий сайт. Текст, полностью написанный кириллицей или по-гречески, не помечается. Кнопка «Remove invisible characters» (удалить невидимые символы) удаляет символы форматирования и управляющие символы, сохраняя переносы строк, табуляции и соединители эмодзи.

Приватный анализ

Инструмент и его база названий работают целиком в вашем браузере. Пароли, токены и сообщения, которые вы вставляете, никогда не загружаются на сервер.

Как использовать

  1. Вставьте текстДобавьте любую строку: подозрительную ссылку, имя пользователя, эмодзи или текст, который ведёт себя странно.
  2. Прочитайте таблицуДля каждой кодовой точки показаны значение U+, официальное название, категория, письменность и кодировки UTF-8 и UTF-16.
  3. Проверьте предупрежденияПомеченные строки указывают на невидимые символы, необычные пробелы, буквы, похожие на другие, и формы совместимости.
  4. При необходимости очиститеУдалите невидимые символы одним щелчком («Remove invisible characters») или покажите только помеченные строки («Show only flagged characters»).

Часто задаваемые вопросы

Что такое кодовая точка?
Кодовая точка — это номер, который Unicode присваивает символу, записанный как U+ и шестнадцатеричные цифры, например U+0041 для A или U+1F600 для 😀. Некоторые видимые символы, например эмодзи с оттенком кожи, состоят из нескольких кодовых точек.
Что такое похожие (confusable) символы?
Символы из разных письменностей, которые выглядят одинаково или почти одинаково, например латинская «a» и кириллическая «а». Злоумышленники используют их в поддельных доменах и именах пользователей (гомографические атаки). Инструмент помечает их и предупреждает, когда одно слово смешивает письменности.
Почему длина в байтах UTF-8 отличается от количества символов?
UTF-8 использует 1 байт для ASCII, 2 байта для большинства латинских, греческих и кириллических букв, 3 байта для большинства остальных символов и 4 байта для эмодзи и редких символов. Базы данных и API часто ограничивают байты, а не символы.
Откуда берутся названия символов?
Из Unicode Character Database (Unicode 18), загружаемой в ваш браузер. Последовательности эмодзи и управляющие символы получают свои официальные названия или псевдонимы.
Advertisement