TT Text Tools

Перевірка символів Unicode — кодові точки, назви та байти

Аналізуйте текст символ за символом: кодові точки Unicode, назви, категорії, писемності, байти UTF-8 і UTF-16, попередження про невидимі та схожі символи.

🔒 Працює повністю у вашому браузері — нічого не завантажується

0
Characters (graphemes)
0
Code points
0
UTF-16 units
0
UTF-8 bytes
0
Warnings
CharCode pointNameCategoryScriptUTF-8UTF-16Note
Advertisement

Дізнайтеся, з чого насправді складається ваш текст

Текст, який виглядає звичайно, може приховувати сюрпризи: пробіл нульової ширини, що ламає пароль чи пошук, нерозривний пробіл, що блокує імпорт CSV, кирилична літера в доменному імені або лігатура, яка зовсім не є двома літерами, якими здається. Інструмент для перевірки символів Unicode розбиває будь-який рядок на окремі кодові точки та показує для кожної символ, кодову точку U+, офіційну назву Unicode, загальну категорію (літера, позначка, розділовий знак, символ, роздільник, керівний символ, форматування…), писемність і точні байти, якими вона зберігається в UTF-8 та UTF-16.

Підсумок рахує символи так, як їх бачать користувачі (кластери графем), кодові точки, кодові одиниці UTF-16 — довжину, яку повідомляють JavaScript, Java і C#, — та байти UTF-8, які зазвичай обмежують бази даних і мережеві протоколи. Усі чотири значення поруч пояснюють, чому емодзі може враховуватися як один, два чи чотири залежно від того, хто рахує.

Знаходьте невидимі та схожі символи

Рядки підсвічуються, коли щось заслуговує на увагу. Позначаються невидимі символи форматування, як-от пробіли нульової ширини, з’єднувачі (joiners), позначки порядку байтів і двоспрямовані керівні символи, а також керівні символи, символи для приватного використання, незвичні пробіли та селектори варіантів. Символи сумісності — повноширинні літери, лігатури, верхні індекси й математичні буквено-цифрові символи — позначаються разом зі звичайним символом, який вони зазвичай замінюють.

Літери з кирилиці, грецької та вірменської абеток, що імітують латинські, позначаються, коли трапляються в латинському тексті, а кожне слово, яке змішує писемності, виділяється над таблицею. Це класична схема гомографічних атак, коли «pаypal.com» використовує кириличну «а», щоб видати себе за справжній сайт. Текст, повністю написаний кирилицею чи грецькою, не позначається. Кнопка «Remove invisible characters» (видалити невидимі символи) вилучає символи форматування та керівні символи, зберігаючи розриви рядків, табуляції та з’єднувачі емодзі.

Приватний аналіз

Інструмент і його база назв працюють повністю у вашому браузері. Паролі, токени та повідомлення, які ви вставляєте, ніколи не завантажуються на сервер.

Як користуватися

  1. Вставте текстДодайте будь-який рядок: підозріле посилання, ім’я користувача, емодзі або текст, що поводиться дивно.
  2. Прочитайте таблицюКожна кодова точка показує значення U+, офіційну назву, категорію, писемність і кодування UTF-8 та UTF-16.
  3. Перегляньте попередженняПозначені рядки вказують на невидимі символи, незвичні пробіли, літери, схожі на інші, та форми сумісності.
  4. За потреби очистьтеВидаліть невидимі символи одним кліком («Remove invisible characters») або покажіть лише позначені рядки («Show only flagged characters»).

Часті запитання

Що таке кодова точка?
Кодова точка — це номер, який Unicode призначає символу, записаний як U+ і шістнадцяткові цифри, наприклад U+0041 для A або U+1F600 для 😀. Деякі символи, які ви бачите, як-от емодзі з відтінком шкіри, складаються з кількох кодових точок.
Що таке схожі (confusable) символи?
Символи з різних писемностей, які виглядають однаково або майже однаково, наприклад латинська «a» і кирилична «а». Зловмисники використовують їх у фальшивих доменах та іменах користувачів (гомографічні атаки). Інструмент позначає їх і попереджає, коли одне слово змішує писемності.
Чому довжина в байтах UTF-8 відрізняється від кількості символів?
UTF-8 використовує 1 байт для ASCII, 2 байти для більшості латинських, грецьких і кириличних літер, 3 байти для більшості інших символів і 4 байти для емодзі та рідкісних символів. Бази даних і API часто обмежують байти, а не символи.
Звідки беруться назви символів?
З Unicode Character Database (Unicode 18), завантаженої у ваш браузер. Послідовності емодзі та керівні символи отримують свої офіційні назви або псевдоніми.
Advertisement