Кодування Юнікод: стандарт кодування символів

Дата:

2019-02-17 17:30:23

Перегляди:

424

Рейтинг:

1Дизлайк 0Любити

Поділитися:

Table of contents:

Кожен користувач Інтернету в спробах налаштувати ту чи іншу його функцію хоча б одного разу бачив на дисплеї написане латинськими літерами слово «Юнікод». Що це таке, ви дізнаєтеся, прочитавши цю статтю.

юнікод що це

Визначення

Кодування Юнікод — стандарт кодування символів. Він був запропонований некомерційною організацією Unicode Inc. у 1991 році. Стандарт розроблений з метою об'єднання якомога більшої кількості різнотипних символів в одному документі. Сторінка, яка створена на його основі, може містити в собі букви і ієрогліфи з різних мов (від російської до корейського) і математичні знаки. При цьому всі символи в даній кодуванні відображаються без проблем.

Причини створення

Колись, задовго до появи єдиної системи Юнікод кодування вибиралася виходячи з уподобань автора документа. З цієї причини нерідко, щоб прочитати один документ, треба було використовувати різні таблиці. Іноді це доводилося робити по кілька разів, що істотно ускладнювало життя звичайному користувачеві. Як вже було сказано, вирішення цієї проблеми в 1991 році було запропоновано некомерційною організацією Unicode Inc., запропонувала новий тип кодування символів. Він був покликаний об'єднати морально застарілі і різноманітні стандарти. Юнікод - кодування, яка озволила домогтися неможливого на той момент: створити інструмент, який підтримує величезну кількість символів. Результат перевершив багато очікування – з'явилися документи, які одночасно містять як англійська, так і російський текст, латинь і математичні вирази.

Більше:

Розширення

Розширення "Економія трафіку Google Chrome

У статті піде мова про те, як здійснюється економія трафіку в Google Chrome. Цей режим ще називають "Турбо", і його практично кожен спостерігав в таких браузерах, як Yandex Browser або Opera. Проте в Google Chrome даний компонент відсутній, і заощади...

Смайли в

Смайли в "Скайпі" - опис, застосування, секрети

Skype - програма, якою користуються багато людей. Вона призначена спеціально для спілкування і обміну даними. Як і будь-який інший месенджер, "Скайп" оснащений чудовим інтерфейсом і графічними елементами. Тут можна виражати емоції різними способами. ...

Ресурс вогняна сіль в

Ресурс вогняна сіль в "Скайриме"

Матеріал у грі «Скайрим» вогняна сіль має ряд застосувань, які будуть корисні для гравця. Цей предмет можна дістати кількома способами, які варто знати користувачу. Стаття надає всю потрібну інформацію з цього ресурсу.ВидобутокУ проекті ж...

Але створення єдиної кодування передувала необхідність вирішення низки проблем, які виникли з-за величезного розмаїття стандартів, що вже існували на той момент. Найпоширеніші з них:

  • ельфійські письмена, або «кракозябры»;
  • обмеженість набору символів;
  • проблема перетворення кодувань;
  • дублювання шрифтів.

стандарт юнікод

Невеликий історичний екскурс

Уявіть, що на дворі 80-е. Комп'ютерна техніка ще не так поширена і має вигляд, відмінний від сьогоднішнього. У той час кожна ОС по-своєму унікальна і допрацьована кожним ентузіастом під конкретні потреби. Необхідність обміну інформацією перетворюється на додаткову доопрацювання всього на світі. Спроба прочитати документ, створений під інший ОС, часто виводить на екран незрозумілий набір символів, і починаються ігри з кодуванням. Не завжди виходить зробити це швидко, і часом необхідний документ вдається відкрити через півроку, а то й пізніше. Люди, які часто обмінюються інформацією, створюють для себе таблиці перетворення. І ось робота над ними виявляє цікаву деталь: створювати їх потрібно за двома напрямками: «з моєї в твою» і назад. Зробити банальну інверсію обчислень машина не може, для неї в правому стовпці исходник, а в лівому - результат, але ніяк не навпаки. Якщо з'являлася необхідність використовувати будь-які спеціальні символи в документі, їх необхідно було спочатку додати, а потім ще й пояснити партнеру, що йому потрібно зробити, щоб ці символи не перетворилися в «кракозябры». І не будемо забувати, що під кожну кодування доводилося розробляти або впроваджувати власні шрифти, що призводило до створення величезної кількості дублів в ОС.

Уявіть ще, що на сторінці шрифтів ви побачите 10 штук ідентичних Times New Roman з маленькими позначками: для UTF-8, UTF-16, ANSI, UCS-2. Тепер ви розумієте, що розробка універсального стандарту була нагальною необхідністю?

кодування Юнікод

«Батьки-творці»

Витоки створення Unicode слід шукати в 1987 році, коли Джо Беккер з Xerox разом з Коллінзом і Марком Девісом з компанії Apple почали дослідження в сфері практичного створення універсального набору символів. У серпні 1988 року Джо Беккер опублікував проект пропозиції щодо створення 16-бітної міжнародної багатомовної системи кодування.

Через кілька місяців робоча група Unicode була розширена за рахунок включення Кена Уістлера і Майка Кернегана з RLG, Глен Райт з Sun Microsystems і декількох інших фахівців, що дозволило завершити роботи за попередньою формування єдиного стандарту кодування.

кодування юнікод

Загальна інформація

В основі Unicode лежить поняття символу. Під цим визначенням розуміється абстрактне явище, що існує в конкретному виді писемності і реалізується через графеми (свої «портрети»). Кожен символ ставить в "Юнікод" унікальним кодом, що належить конкретному блоку стандарту. Наприклад, графема B є і в англійській, і в російській алфавітах, але в Unicode їй відповідають 2 різних символу. До них застосовується перетворення в рядкову букву, тобто кожен з них описується ключем бази даних, набором властивостей і повною назвою.

Переваги Unicode

Від інших сучасників кодування Юнікод відрізнялася величезним запасом знаків для «шифрування» символів. Справа в тому, що його попередники мали 8 біт, тобто підтримували 28 символів, а от нова розробка мала вже 216 символів, що стало гігантським кроком вперед. Це дозволило закодувати практично всі існуючі і поширені алфавіти.

З появою"Юнікод" відпала потреба використовувати таблиці перетворення: як єдиний стандарт він просто зводив нанівець їх необхідність. Точно так само канули в Лету і «кракозябры» - єдиний стандарт зробив їх неможливими, так само як і виключив необхідність створення дублів шрифтів.

Розвиток Unicode

Звичайно, прогрес не стоїть на місці, і з моменту першої презентації минуло вже 25 років. Однак кодування Юнікод вперто утримує свої позиції в світі. Багато в чому це стало можливим завдяки тому, що він став легко впроваджуються і отримав поширення, будучи визнаним розробникам пропрієтарного (платного) і відкритого ПЗ.

кодування юнікод (стандарт кодування символів)

При цьому не варто думати, що сьогодні нам доступна та ж кодування Юнікод, що і чверть століття тому. На даний момент її версія змінилася на 5.х.х, а кількість кодованих символів зросла до 231. Від можливості використовувати більший запас знаків відмовилися, щоб все ще зберегти підтримку Unicode-16 (кодування, де максимальна їх кількість обмежувалося цифрою 216). З моменту своєї появи і до версії 2.0.0 "Юнікод-стандарт" збільшив кількість символів, які до нього входили, практично в 2 рази. Зростання можливостей тривав і в наступні роки. До версії 4.0.0 вже з'явилася необхідність збільшити сам стандарт, що і було зроблено. В результаті "Юнікод" набув того вигляду, в якому ми його знаємо сьогодні.

юнікод що це таке

Що ще є в Unicode?

Крім величезного, постійно пополняющегося кількості символів Юнікод-кодування текстової інформації має ще одну корисну рису. Мова йде про так званої нормалізації. Замість того, щоб перегортати весь документ символ за символом і підставляти відповідні значки з таблиці відповідності, використовується один з існуючих алгоритмів нормалізації. Про що мова?

Замість того щоб витрачати ресурси обчислювальної машини на регулярну перевірку одного і того ж символу, який може бути схожим в різних алфавітах, використовується спеціальний алгоритм. Він дозволяє винести схожі символи окремою графою таблиці підстановки і звертатися вже до них, а не раз перевіряти всі дані.

Таких алгоритмів розроблено та впроваджено чотири. У кожному з них перетворення відбувається за строго визначеним принципом, що відрізняється від інших, тому назвати якийсь один з них найбільш ефективним не представляється можливим. Кожен розроблявся для певних потреб, було запроваджено і успішно використовується.

unicode кодування текстової інформації

Поширення стандарту

За 25 років своєї історії кодування Юнікод отримала, мабуть, найбільшого поширення в світі. Під цей стандарт підганяються також програми і web-сторінки. Про широту застосування може говорити той факт, що Unicode сьогодні використовують понад 60 % інтернет-ресурсів.

Тепер вам відомо, коли з'явився стандарт Юнікод. Що це таке, ви також знаєте і зможете оцінити всі значення винаходу, зробленого групою фахівців Unicode Inc. більше 25 років тому.


Article in other languages:

AR: https://tostpost.com/ar/computers/17049-the-unicode-standard-character-encoding.html

BE: https://tostpost.com/be/kamputary/28705-kado-ka-yun-kod-standart-kadavannya-s-mvala.html

DE: https://tostpost.com/de/computer/28722-codierung-unicode-standard-zeichenkodierung-aus.html

ES: https://tostpost.com/es/los-ordenadores/28751-la-codificaci-n-unicode-la-norma-de-codificaci-n-de-caracteres.html

HI: https://tostpost.com/hi/computers/16107-the-unicode-standard-character-encoding.html

JA: https://tostpost.com/ja/computers/17630-unicode.html

KK: https://tostpost.com/kk/komp-yuterler/28677-kodirovka-yunikod-standart-kodtau-r-m-zder.html

PL: https://tostpost.com/pl/komputery/28515-kodowanie-unicode-standard-kodowania-znak-w.html

PT: https://tostpost.com/pt/computadores/28550-codifica-o-unicode-norma-de-codifica-o-de-caracteres.html

TR: https://tostpost.com/tr/bilgisayarlar/31449-kodlama-unicode-karakter-kodlama-standard.html

ZH: https://tostpost.com/zh/computers/16121-unicode.html






Alin Trodden - автор статті, редактор
"Привіт, Я Алін Тродден. Я пишу тексти, читаю книги і шукаю враження. І я непогано вмію розповідати вам про це. Я завжди радий брати участь у цікавих проектах."

Примітка (0)

Ця стаття не має коментарів, будьте першим!

Додати коментар

Новини

Порівняння браузерів: який краще

Порівняння браузерів: який краще

У вік інтернету браузер є найважливішою річчю, встановленої на комп'ютері. Саме тому варто звернути особливу увагу на цей компонент системи. Якщо браузер гарний, то інтернет-серфінг буде простий і приємний. Якщо ж він відверто нія...

Viber або WhatsApp: що краще?

Viber або WhatsApp: що краще?

Існуючі на сьогоднішній день месенджери майже повністю відправили в небуття відправлення звичайних СМС-повідомлень в середовищі мобільних пристроїв. Ці програми зробили СМС незручними і повністю нерентабельними. У цьому сегменті в...

Проходження

Проходження "Метро-2". Опис гри

«Метро-2: Смерть вождя» – довгоочікуване продовження проекту російських розробників, який побачив світ задовго до всесвітньо відомої Metro 2033. Ця гра вийшла в 2006 році, а її творцем стала компанія Orion Games....

Відновлення після форматування флешки: інструкція

Відновлення після форматування флешки: інструкція

На жаль, втрата даних, що містяться на знімних пристроях начебто звичайних флешок або карт пам'яті, - одне з найпоширеніших явищ. Причому не завжди це пов'язано з фізичними поломками або програмними збоями. Форматування (швидке, п...

Як прибрати інтерфейс в

Як прибрати інтерфейс в "КС: ГО" за допомогою консольної команди?

Комп'ютерна гра "Counter Strike: GO" є одним з найпопулярніших шутерів, в який грають тисячі користувачів. Тут величезна кількість консольних команд, які дозволяють налаштувати користувальницький інтерфейс як завгодно. Але яка ком...

Материнська плата 1156. Огляд рішень для чіпів Core 1-го покоління

Материнська плата 1156. Огляд рішень для чіпів Core 1-го покоління

Материнська плата 1156 призначалася для установки ПРОЦЕСОРІВ серії Core 1-го покоління. Дана комп'ютерна платформа була універсальною і дозволяла створювати як ПК початкового рівня, так і високопродуктивні серверні пристрою. Саме ...