English version here (not recommended :-)

Зеркало (Newmail)

Зеркало (ROL)

Обновлено: 9-dec-2001. Konstantin Kazarnovsky

Форум/ Гостевая книга

• KOI8-R и другие кодировки
• Определения (кириллических) кодовых страниц
• Программы перекодировки и вьюеры
• Религиозные войны

• 
  Я с благодарностью и разными теплыми чувствами помещаю первой ссылку на эту, ставшую канонической и получившую недавно свой собственный адрес, страничку Андрея Чернова о КОИ-8 и русификации Интернета. Однако посвященная, в целом, одной теме, она обладает и некоторой энциклопедичностью, затрагивая или давая ссылки также на многие смежные темы и проблемы. Для меня она была замечательной отправной точкой для понимания (отнюдь не приблизившегося к полноте) устройства Интернета, а также принципов языковой поддержки в Windows.
• Способ включения KOI8-R в число языков Windows'9x. Ключевое место в ache'вской страничке, относящееся к Windows'9x. Предлагаемый способ, увы, хакерский и не во всех случаях работающий. В частности, я не встречал системы проверки орфографии под Windows, поддерживающей KOI8-R. Тем не менее, это - лучшее, что есть, дающее возможность использовать в большом числе интернетовских программ многоязычные шрифты лучших шрифтовых фирм мира :-) (Monotype, Bitstream и др.).

  В развитие этого способа:

• Ресурсная таблица перекодировки с поддержкой управляющих символов.
  Моя модификация предлагаемой ache таблицы (для Borland Resource Workshop), позволяющая увидеть псевдографические изображения большинства управляющих символов (кодов меньше десятичных 32). Это, пожалуй, единственный под Windows способ чтения конференций ФИДО через Интернет (почти :-) без потерь, со всеми их псевдографическими (высоко- или мало-)художественными изысками.
  Настройки Forte Agent, позволяющие в полной мере использовать эти возможности, см. на страничке с программами и текстами
  
  
• Электронная почта: смотришь в книгу, а видишь оПХБЕР, или Заметки об извращениях.
  HTML-версия статьи о русских кодировках в электронной почте для журнала Hard'n'Soft, NN 11'98 - 2'99.

Из большого разнообразия кодировок русского языка, большинство из которых в "русской части" содержат и нерусские кириллические буквы, - более распространенные и документированные варианты сведены в таблицы в виде картинок и документов WORD 6/'95:

• Кириллические кодировки в виде графических таблиц   (наконец, исправлены с учетом Euro и тонких отличий в русском и украинском варианте макинтошной кодировки :-).
• Кириллические кодировки
  Документ Word 6.0/95. Для чтения документа в системе должны быть стандартные "западные" и русские шрифты Times New Roman и Times New Roman Cyr (или соответствующие логические "сечения" шрифта Times New Roman в Windows'9x/NT), а также стандартные шрифты Symbol и MS LineDraw.
    (тоже исправлены с учетом Euro - поэтому для полноценного просмотра требуется наличие Euro в Times New Roman и его поддержка системой - и отличий в русском и украинском варианте макинтошной кодировки).
  
• Сводная таблица наиболее популярных кириллических кодировок
  Документ Word 6.0/95. В этой таблице для каждого символа приводятся его позиции в различных кодировках, а также соответствующий код и наименование в Unicode. Если какой-то символ в кодировке отсутствует, то по возможности указывается соответствующий "похожий" (такие соответствия гораздо менее стандартизованы, чем сами кодировки).
• Cyrillic Character Sets. Таблицы 18 различных (в том числе нестандартных) кириллических кодировок на сервере Fingertip Software.

• KOI8-R (RFC 1489) Основная русская кодировка в Интернете.
• KOI8-U (RFC 2319) Украинский клон KOI8-R, в который в 8 позиций введены 4 украинские буквы (Upper and Lower: UKRAINIAN IE, CYRILLIC SMALL LETTER BELORUSSIAN-UKRAINIAN I, UKRAINIAN YI, UKRAINIAN GHE WITH UPTURN).
• Codepage 1251 (MS Windows Cyrillic), ver. 2.01 (with Euro) Основная кириллическая кодировка во всех версиях Microsoft Windows, становящаяся наиболее стандартной кодировкой WWW-страниц.
• Codepage 866 (MS DOS Cyrillic) Основная русская кодировка в MS DOS.
• Codepage 10007 (Mac Cyrillic)
• Mac OS Ukrainian Cyrillic  В двух позициях отличается от CP10007 (Upper and Lower GHE WITH UPTURN).
• ISO 8859-5
• Character sets and codepages Обзор и определения различных наборов символов и кодовых страниц от Microsoft
• Определения в Unicode кодировок от ISO 8859-1 до ISO 8859-9
• UTF-7 (RFC 2152) 7-bit Unicode character set Transformation Format, 7-битный формат представления Unicode в e-mail.
• UTF-8 (RFC 2279) 8-bit Unicode character set Transformation Format, 8-битный формат представления Unicode в e-mail.
• Rosetta Универсальная кодировка, альтернативная к Unicode. Страничка опять нашлась.

• XCode converter или . Бесплатная универсальная программа под DOS, перекодирующая между CP866, KOI8, CP1251, MAC и ISO8859-5, с возможность автораспознавания кодировки и автодекодирования, в том числе для ряда "извращенных" - двойных перекодировок. К сожалению, перекодировка CP866-KOI8 в ней неверна (за что не может быть названа KOI8-R) за пределами русских букв. А это, в частности, не позволяет программе распознавать двойные перекодировки, если среди них имелся корректный вариант перекодировки CP866->KOI8 или KOI8->CP866.
• XCode converter с исправленными таблицами CP866->KOI8-R и KOI8-R->CP866. В таком виде программа годится и в качестве стандартного перекодировщика, и в качестве дешифратора в тех случаях, где пока бессилен даже
  
• Agama Mail Reader. Универсальная программа под Windows'95, распознающая до 4 (или даже 5-и с учетом различия начальной и конечной кодовых страниц) наслоений перекодировок. Не знаю, правда, где ее авторы такую ситуацию могли найти. Неверно перекодирует CP866-KOI8, соответственно не распознает для этого случая множественные перекодировки. Наиболее интересная возможность - попытка восстановления (с использованием лингвистического анализа, по-видимому, словаря) текста, подвергнутого "обрезанию восьмого бита в стиле Compuserve", когда все латинские буквы с диакритическими значками из второй половины кодовой таблицы Latin-1 (CP1252) преобразуются в ASCII с потерей диакритики. Что при этом происходит с русскими буквами - можно себе представить! Compuserve, вроде бы, так делать перестал, но кое-где проблема осталась. Юникодовые кодировки не поддерживаются. Запрашивается 29$ за версию 1.2 и 34$ за несколько более мощную версию 1.5. Естественно, народный патч тоже доступен. В этой же версии 1.5 сделаны намеки на возможность создания своих таблиц перекодировки, но я не нашел, где эта возможность реализуется.
• TOT-Recode (версия 1.5). Бесплатная программа, которая автоматически подбирает схему перекодировки аналогично Mail Reader (и так же поддерживает кодировку Quoted-Printable), имеет пакетный режим, но с ограничением размера файла в 30 кб, без поддержки "обрезания восьмого бита в стиле Compuserve" и без поддержки Unicode.
• Штирлиц - домашная страничка.
  Загрузка версий программы: Shtirlitz - Штирлиц (версия 3.0) и Shtirlitz - Штирлиц (версия 4.0)
  Универсальная программа перекодировки и восстановления текста Всеволода Лукьянина: работает со схемами, понимает win/koi/dos/iso/mac/lat, unicode; имеет множество настроек, в том числе количества уровней перекодировки (до 10). Раскодирует Quoted-Printable, UUEncode, XXEncode, Base64, BinHex (Hqx7), а также аналогичные Quoted-Printable интернетовский формат типа %C0%C1 и RTF-формат (формат \'c7). Работает с HTML-документами, которые может перекодировать в текстовый вид. В версии 4 появилась поддержка юникодовых кодировок (UTF-7/UTF-8) и юникодовых номеров в HTML (вида &1040;). Бесплатно (в версии 4 имеется окошко с рекламой).
• E-Coder. Универсальная программа перекодировки и восстановления текста (под Win32) Александра Горлача. В декабрьской 1998 г. версии 1.2 в ней - впервые в такого рода программах - появилась поддержка UTF-7/UTF-8. Возможно ручное и автоматическое декодирование текста (до 4-х наслоений перекодировок), понимает win/koi/dos/iso/mac, unicode, utf-7/utf-8, раскодирует BinHex 4.0, Uuencode/Uudecode, Base64, Quoted-Printable, а также аналогичные Quoted-Printable интернетовский формат типа %C0%C1 и RTF-формат (формат \'c7). Неверно перекодирует CP866-KOI8, не без некоторых других "глюков". Shareware на 30 дней, 10$ (для клиентов ЕТайп и калининградских фидошников - бесплатно). Информацию о дате первого запуска хранит в Win.ini (секция [Time Zone]) и в реестре (ключ ...\EType\ECoder).
• CODEPAGE 1.86 (08.06.2001). Бесплатная универсальная FIDO-ориентированная программа Александра Коростина восстановления нечитаемых текстов, работающая под DOS. Знает 17 однобайтовых русских кодировок, поддерживает Quoted-Printable, транслитерацию (в нескольких вариантах), Unicode text и др. В последних версиях научилась декодировать UTF-7/UTF-8. Интегрируется с GoldEd и работает с почтовыми ящиками Dmail.
• FROMDOS и TODOS - пара программ под DOS, отличающихся только названиями, которые корректно перекодируют из CP866 в KOI8-R и обратно. Естественно, бесплатно.
• Цифирица. Написанный Романом Кошелевым интеллектуальный перекодировщик (под Win32) в транслит и из транслита, с элементами англо-русского переводчика и настраиваемыми правилами транслитерации и перевода. Бесплатно.
  На сайте цифирица предлагается также в качестве web-сервиса.
• CPAGE - макроc для MultiEdit 7.0. Написанный Пашей Бижаном в русле Xcode перекодировщик DOS - KOI8-R - WIN - ISO - MAC в форме макрокоманды для MultiEdit версии 7 DOS/Win (таким пришел), MEW8.0 и старше. По сравнению с исходным вариантом мной исправлены таблицы перекодировки DOS - KOI8-R, а также улучшены (как мне кажется) алгоритмы перекодировки в другие кодовые страницы, где взаимнооднозначное соответствие невозможно. В последних версиях (jan-99) добавлены юникодовые кодировки (UTF-7, UTF-8 и Unicode text; для всех, наконец, и кодер, и декодер). Эвристические возможности XCode и работа с двойными перекодировками в макросе отсутствуют.
• WPVIEW 4 patch. Модификация WPVIEW от Norton Commander 4, заменяющий формат XyWrite на Koi8-r с корректной таблицей перекодировки. При этом, правда, в заголовке окна показывается неверный формат, но в остальном все работает правильно.
• Распознавалки, перекодировщики, переводчики. Подборка ссылок.
• Перекодировщики на download.ru

  Религиозные войны

• www.homepage.techno.ru/barsic/antikoi.htm "Снежный Барс", "движение Анти-КОИ".
  
  
• А это, как видно, наоборот - движение за КОИ-8, единственно правильную кодировку.
  

Возврат к содержанию

Семья   Справки и поиск   Eros и Tanatos   Языки, шрифты и кодировки Тропические фрукты   Почтовые и другие программы   Неупорядоченное