Unicode 4.0.1

[Fozzie]

После очень долгой паузы консорциум Unicode таки взялся за дело и выдал бета версию subj. (См. http://www.unicode.org/Public/4.0-Update1/). Самое приятное в ней - наконец-то обновлённый файл Unihan.

[quaxter]

Ну вот, наконец-то новости приятные пошли.
А то консорциум все никак не мог отелиться с выпуском стандарта в книжной форме: обещали 8 августа, а поспели к концу сентября.
Причем, как водится, у авторов покупай за 74 доллара, а на амазоне - за 57. И доставка у амазона дешевле. Приятно за их расторопность.
А чё поменяли в Unihan? Ты уже сравнивал версии?
Это ж в архивированном виде 5 метров а в TXT - вовсе 25 с хвостом...
Ладно, нам не привыкать - будем качать и смотреть. А книжку я все равно куплю. Честнее это - заплатить консорциуму, а не гнилому провайдеру
А вообще консорциум на странице http://www.unicode.org/versions/Unicode4.0.0/ обещает среди прочего
- extensive additions of CJK characters to cover dictionaries and historic usage (2-м пунктом программы!)
Так что твои, Fozzie, опасения об охлаждении интереса к китайскому оправдываются не полностью.

[Fozzie]

А чё поменяли в Unihan? Ты уже сравнивал версии?

Сравнивал. Из 80 полей данных изменения затронули (пока) 35. Наиболее важные с практической точки зрения:
kMandarin (то бишь произношение) - больше всего изменений и дополнений (робот насчитал 3338 ), об этом даже упомянуто в шапке файла.
kDefinition (то бишь значение) - их слегка прибавилось. Что особенно приятно -  процесс пошел по Extension B. Если на этом не остановятся - будем иметь неплохой эрзац-словарь.
kUnicodeRS (радикалы со строками) - изменений (исправлений?) всего 8. Правда после 57.7 -> 42.3 и 127.9 -> 86.12 (вкупе с 202.9 -> 142.12) мои сомнения в применимости "радикал-строки" в качестве основы системы поиска только укрепились.

Так что твои, Fozzie, опасения об охлаждении интереса к китайскому оправдываются не полностью.

Лучше бы они вообще не оправдывались!
Да только вот одна знакомая мне группа за вдвое меньшее время на голом энтузиазме да ещё и в свободное от работы время сумела сделать гораздо больше - в частности, полностью отсканировать Большой китайско-русский словарь.  

[quaxter]

...вот одна знакомая мне группа за вдвое меньшее время на голом энтузиазме да ещё и в свободное от работы время сумела сделать гораздо больше - в частности, полностью отсканировать Большой китайско-русский словарь.  

Надеюсь, ты не ехидничаешь
Очень хотелось бы, чтобы дело БКРС сдвинулось с мертвой точки.

[Fozzie]

Надеюсь, ты не ехидничаешь
Очень хотелось бы, чтобы дело БКРС сдвинулось с мертвой точки.

Абсолютно без всякой иронии - проект реально работает. Олег совсем недавно сообщил про завершение процесса сканирования, сайт hanzi.ru довольно регулярно пополняется иероглифами. Может это и не так много, да вот только многоденежный Unicode за то же время сделал  гораздо меньше (в интересующей нас области). Более того, меня не оставляет мысль, что всплеск юникодовской активности на китайско-японо-корейском фронте вызван исключительно недавним соглашением вышеупомянутых стран о создании своей самостийной операционки - при таком раскладе Unicode просто останется не у дел и будет никому не нужен (различные востоковеды и востоколюбители целевой группы, увы, не образуют в силу своей малочисленности) - вот Unicode вкупе с Дядей Гейтсом и засуетился.

И вообще, если наше состояние дел назвать "мёртвой точкой", то остальные тогда просто едут назад.   8)

[quaxter]

И все же та же база Unihan вкупе с существующими и известными кучке любителей и профи ccdict, edict и прочая - это тоже немалое подспорье в работе.
Жаль, нет контакта с Джеком Хэлперном и Йоуни Керманом (www.cjk.org) - у них ведь есть готовая база данных по всем ханьцзам - поспевай только вносить свои предложения по дополнению и т.п. У них, по-моему, больше 116 тыс. знаков накоплено, и они по слухам не жмутся - для некоммерческого использования дают пользоваться даром или почти даром, для коммерческого - за скромную сумму. И это при том, что они отнюдь не многоденежные - имеют нескольких спонсоров, а выход у них реальный.
Зато китайцы блещут таким сребролюбием, что куда там билгейтсине. Я имею в виду Zhangyi Electronics, которые Simsun (Founder Extended). За свой самый-самый фонт они просят 4000 юаней за TTF (Win | Mac) за постскриптный его вариант T1 для Мака - 400,000 юаней. Жлобы!

[Fozzie]

Я имею в виду Zhangyi Electronics, которые Simsun (Founder Extended). За свой самый-самый фонт они просят 4000 юаней за TTF

Это тот который на 100000 знаков? А в зеленых это сколько будет? В своё время они меня сильно напугали, предложив фонт на 7000 знаков за 5000$ - об остальном я просто побоялся спрашивать.

[quaxter]

Это тот который на 100000 знаков? А в зеленых это сколько будет?

Он самый. Глянул на соотношение юань/доллар по яхе: 0,12 доллара за юань по результатам утренних торгов. Итого 4000 юаней = 480 долларов, 400,000 юаней = 48,000 долларов. Недешев постскриптец маковский. Да и TTF тоже не подарок. Я б у Морисавы взял - у него фонты красивые до умопомрачения. Шуфень сплошная. Правда имеет место уклон в сторону маковских постскриптов, но цены гуманнее, чем у Zhangyi. Только вот такого жирного фонта на сотню тысяч знаков у него нет. А чем отличается постскрипт от трутайпа, что стОит во сто крат больше, тебе, я думаю, объяснять не надо.

В своё время они меня сильно напугали, предложив фонт на 7000 знаков за 5000$ - об остальном я просто побоялся спрашивать.

Эт что! Я в свое время спросил у Basis Technologies (есть такая глобализаторско-локализаторская контора в шт. Массачусетс, клепает программные морфологические распознавалки для иероглифического текста). Спросил по неведению, сколько их прога стоит... Так они голую DLL без инсталлятора и сборки продают хрен знает за сколько. Мне, как первому обратившемуся в отдел продаж из Украины предложили серьезную скидку: 100,000 долларов (СТО ТЫСЯЧ ДОЛЛАРОВ то есть). А ты говоришь: за хилый фонтец 7 штук зелени.
Их фонтами юникодовские таблицы напечатаны, и на словари они же идут.
Так что вот...

[Fozzie]

Сегодня в http://www.unicode.org/Public/4.0-Update1/ небольшое обновление... Unihan подрос почти на метр.

[quaxter]

Ну вот. А ты, было, сетовал, что даром консорциум деньжищи жрет немеренные

[Fozzie]

Ну вот. А ты, было, сетовал, что даром консорциум деньжищи жрет немеренные

Да что тут сказать... То месяцами (и даже годами!) сидят на попе ровно, а то прямо-таки ежедневные обновления (в пятницу было d4, а сегодня уже d5). Уж дюже смахивает на советскую экономику застойного периода!  

[quaxter]

ну чего возразить на это... нечего. научились у нас работать
ты вот что скажи, Fozzie: ты в печатном виде стандарт Юникода не держал в руках? И стоит ли покупать за $70 + доставка книгу при такой частоте обновлений, если там версия 4.0 отражена?
Сравнение цен по онлайновым магазинам можно глянуть здесь:
http://www3.addall.com/New/compare.cgi?dispCurr=USD&id=33626&isbn=0321185781&location=20000&thetime=20040202213551&author=&title=&state=AK

[Fozzie]

И стоит ли покупать за $70 + доставка книгу при такой частоте обновлений, если там версия 4.0 отражена?

Если бы она за эти деньги в магазине лежала (или как-то безгеморно заказывалась), то скорее всего купил бы. А так просто ограничиваюсь регулярной распечаткой code charts со сдачей их в переплётную мастерскую.  

[Lunatic]

Друзья! Расскажите непосвященному, зачем нужны твердые копии этих справочников? Вы рисуете шрифты? Или часто проверяете соответствие шрифтов стандартам? Или просто "чтоб было"?

[Fozzie]

Друзья! Расскажите непосвященному, зачем нужны твердые копии этих справочников? Вы рисуете шрифты? Или часто проверяете соответствие шрифтов стандартам? Или просто "чтоб было"?

Если с чем-то приходится работать постоянно, то таки лучше иметь твердую копию - глаза устают даже от супер-пупер TFT, да и вообще для работы в режиме "монитор-книга" освещение как надо не подберешь (особливо в домашних условиях).  
Плюс разворот А4 - это как-никак диагональ 20" - не всякому такое по карману ))

[quaxter]

Что вам сказать, други...
Fozzie 100% прав, когда говорит о повышенной утомляемости. Поза человека, сидящего за компом - далеко не самая удобная. Устают не только глаза, мышцы спины и шеи- тоже. Я не представляю, каким эргономичным должно быть рабочее место, чтобы после 5-6 часов работы с перерывами я или кто иной не валился с ног даже при "приятном" характере работы.

Но в одном Fozzie заблуждается: и книга, и монитор потенциально опасны. Долговременная фиксация взора на предметах ближнего поля приводит к  повышению внутриглазного давления, расширению кровеносных сосудов глаза, оскудению слезоотделения - как крайняя форма - синдром Сьёргена (сухой глаз), когда приходится заливать в глаза флаконами разную дрянь.

Этого можно добиться. к примеру, читая подолгу книги в постели или делая то же с малого расстояния.

Компьютерный монитор типа CRT (ЭЛТ) имеет 4 дополгнительных поражающих фактора: рентгеновкское излучение, ультрафиолет, мерцание и нарушения сведения/геометрии. Воздействие первых двух поражающих факторов объяснения не требует. Мерцание приводит к прямой утомляемости, нарушение сведения/геометрии и нарушение цветового баланса - ко вторичной (психологической) утомляемости.

Для LCD (ЖКМ) первые два фактора практически отсутствуют, мерцание ниже пределов воздействия, геометрия и сведение там близки к идеалу. Только вот цветовая гамма... Признайтесь, много ли вы видели LCD-мониторов, калибруемых по цветовой температуре?
Я на своей ЭЛТ соньке 15 дюймов поставил  белый цвет 5500 К - и живу до сих пор. А неестественная передача цветов на ЖКМ не позволяет работать на них с графикой и версткой. И приводит к утомляемости. Если у вас лаптоп, то он хорош в метро или на рыбалке, а на работе я сам не стану держеть LCD или лаптоп. И дома тоже.

По поводу покупки книги. Да какой гемор, Fozzie? Все просто. Плачу кредиткой, и прямо с той страницы сравнений цен захожу на торговые фирмы прямиком. Не все они торгуют с СНГ и не во всех режимах (особенно это касается продажи подержанных книг, но я неодобрительно отношусь к этому феномену). Но Амазон работает (я заказывал книги и диски во всех его филиалах кроме французского), Барнес и Нобл - тоже, ряд британских торговых точек - без проблем. Так что напрасно ты на онлайн-трейд бочку катишь.

Я жалею, что из Китая и Тайваня не могу сделать некоторых заказов. но, умаю, со временем и это препятствие можно будет одолеть.

[Lunatic]

Друзья! Вы абсолютно правы! Но вопрос заключался в другом - для какого вида деятельности нужен справочник по юникоду? В прямом смысле - что с ним делать?

Простите еще раз за косноязычие! У меня явные проблемы с формулированием вопросов!

[Fozzie]

для какого вида деятельности нужен справочник по юникоду? В прямом смысле - что с ним делать?

Теперь понятно! А я думал ты просто занимаешься апологетикой безбумажности

А справочник нужен там, где приходится заниматься представлением различных экзотических символов (например китайских иероглифов) внутри компьютера, например при создании электронного китайско-русского словаря.  8)

[quaxter]

Мы оба одинаково неправильно тебя поняли.
Присоединяюсь к речениям ученого цзяньши
В смысле - о целесообразности справочника по юникоду вообще. Там же основной компонентой доднесь остается иероглифическая база данных Unihan

[Fozzie]

Но в одном Fozzie заблуждается: и книга, и монитор потенциально опасны.

Ну, с таких позиций, так вообще жить вредно!  
А на серьёзе - у моей старшей дочки аллергия и библиотечные и старые книги для неё невозможны как класс.  

А я особливо подчёркивал вредность одновременного использования книги и компьютера: разница в освещении бьёт по глазам как хлыстом. Посему или две книги или два монитора (без приколов: думаю в будущем языковеды будут пользоваться как  программисты сейчас - двухголовыми системами)  

По поводу покупки книги. Да какой гемор, Fozzie?

Да обыкновенный, рассейский. Так например покупка в amazon'е бумажой копии zhongwen'евского сайта растянулась на год с  нулевым итого. А вот гемор был сильно отличен от нуля.  

[Lunatic]

...Там же основной компонентой доднесь остается иероглифическая база данных Unihan

Да, кажется, осознал... При создании электронного словаря знать коды иероглифов действительно полезно.

А вот еще вопрос на засыпку. Не знаете, кто-нибудь из великих, вроде той же Zhanyi Electronics, уже додумался до создания комплекта шрифтов, с помощью которого можно было бы препарировать иероглифы по порядку черт? То есть, например, есть шрифты с базовым именем КайШу и номерами от 1 до 48 или больше. Набираете первым таким шрифтом иероглиф, получаете его первую черту, вторым - первую и вторую черты, третьим - первую, вторую и третью черты и т.д. Знаете, как в пособиях по иероглифике... Например, в 使用汉语 такие таблицы есть. Но там они, похоже, рисованые. К тому же, в целях экономии сил, времени и места, встречавшиеся ранее элементы и графемы повторно не расипсываются...

[Papa HuHu]

А вот еще вопрос на засыпку. Не знаете, кто-нибудь из великих, вроде той же Zhanyi Electronics, уже додумался до создания комплекта шрифтов, с помощью которого можно было бы препарировать иероглифы по порядку черт?...

идея сама по себе прикольная, но только не думаю, чтобы на данном этапе кто-либо создавал такие шрифты. потому что работы море, создать целый комплект из 30 шрифтов, а для чего? это, стрельба из баллистической ракеты по воробьям.

на самом деле надо то иметь просто фонт с основными штрихами (штук 20, кстати у Мира уже есть!) и базу данных, в которой каждый иероглиф препарирован и расписан, какая черта в какой последовательности.

такие базы данных есть - в частности Наньцзи Стар, только без порядка черт. правда я не знаю как ее "выковырять"

в любом случае, я обещался создать такую базу данных для БКРС, и обещание свое намерен сдержать. Так что спасибо за идею включить туда инфу о порядке черт.

[Lunatic]

Сначала мои соображения насчет отображения порядка черт. Думаю, всем известно, что применяются на сегодняшний день два варианта: первый - расписывание по шагам, когда каждый следующий шаг содержит на одну черту больше, чем предыдущий, второй - черты в иероглифе написаны пунктиром, над каждой чертой ее порядковый номер (согласно порядку напсания) и стрелочка, которая указывает направление написания (иногда стрелочки не делают). Если не создавать отдельную технологию для расписывания иероглифов по чертам, а применять существующие стандарты шрифтов (неважно, Т1 или ТТ), то у каждого подхода есть минусы: у первого - необходимость создания нескольких десятков пронумерованных шрифтов, у второго - иероглифы с кучей дополнительных циферок и стрелочек нормально будут видны только при большом кегле. Реально мне еще не попадалось ни одного шрифта/набора шрифтов, в котором бы был реализован какой-либо из этих двух подходов. Может быть, я что-то где-то недоглядел? Но с другой стороны, в Китае сегодня выпускается огромное количество пособий по иероглифике. Они же ведь как-то иероглифы расписывают?! Зная китайцев, не удивлюсь, если каждый раз по новой вручную, но хочется верить, что есть и более продвинутый способ!

идея сама по себе прикольная, но только не думаю, чтобы на данном этапе кто-либо создавал такие шрифты. потому что работы море, создать целый комплект из 30 шрифтов, а для чего?

На самом деле, проблема для крупной компании не очень большая. В свое время мне приходилось препарировать твинбриджевкие шрифты встроенным редактором фонтов. Так вот, в ТВ-шных шрифтах иероглиф - это не единый конгломерат! Каждая черта - отдельный объект! Значит, сделать 30 копий одного и того же шрифта и убрать в каждом нужное количество черт не так уж и сложно.

на самом деле надо то иметь просто фонт с основными штрихами (штук 20, кстати у Мира уже есть!) и базу данных, в которой каждый иероглиф препарирован и расписан, какая черта в какой последовательности.

Честно говоря, устройство такой базы данных мне не очень понятно... Какие в ней должны быть поля? Как записан порядок разложения иероглифа по чертам? Даны координаты начала и конца каждой черты? Получается, что тогда для каждой гарнитуры (то есть шрифта) база должна быть своя?

такие базы данных есть - в частности Наньцзи Стар, только без порядка черт. правда я не знаю как ее "выковырять"

Здесь на форуме много говорят об этом самом NJStar... Постараюсь в ближайшее время скачать и поставить... Если смогу понять устройство тамошней базы и вытащить ее, обещаю поделиться!

[Lunatic]

такие базы данных есть - в частности Наньцзи Стар, только без порядка черт. правда я не знаю как ее "выковырять"

Посмотрел я, что там есть в этом NJStar Chinese WP... Боюсь,  уважаемый, ПапаХуху вы спутали две разные вещи. Radical Lookup, который есть в Наньцзисин, к порядку черт отношения не имеет. Это всего лишь разложение иероглифов на ключи, точнее на ключ и графемы, т.к., строго говоря, в иероглифе ключ может быть только один. По крайней мере, отечественная (читай "советская") синология отстаивает именно такой подход.

База, по которой NJStar раскладывает иероглифы, ничего сложного из себя не представляет, вот только вытащить ее из программы будет довольно сложно - она там в каком-то своем формате, который мне, например, пока не ясен. Теоретически можно дизассемблировать DLL-ку, которая является модулем разложения на ключи (NJRESCHT.DLL) и вытащить информацию из файлов с ключами: RADICALJ.DBG (для простых иероглифов) и RADICALS.DBG (для сложных). Но, я думаю, в инете можно найти эти базы в более читабельном виде. Например, я нашел такую базу в японской кодировке. Простая конвертация в Big5 дает нам готовый вариант базы для полных иероглифов. С простыми не все так прозрачно, т.к. некоторые иероглифы упрощены слишком сильно и полностью потеряли связь с исходными.

Базу, которую я отыскал, можете взять отсюда: http://lunatic.front.ru/radkfile.zip

Нашел я ее здесь: http://ftp.funet.fi/pub/culture/japan/mirrors/monash/pub/nihongo/00INDEX.html.
Как видите, там много чего интересного не только для японистов!

[quaxter]

Ну, с таких позиций, так вообще жить вредно!

знамо дело

думаю в будущем языковеды будут пользоваться как  программисты сейчас - двухголовыми системами

немного я программеров видел с двухголовыми системами. все больше верстуны и дезигнеры  - на главном мониторе верстка, на вспомогательном - менюшки и тулбары, а также развернутые в параллельных окнах вспомогательные программные продукты.
——————
так ты на регионе амазона купить пытался? я только вчера узнал о существовании австрийского и испанского. покупал у всех, кроме французов - даже у японцев покупал. и, поверь, Fozzie - икакого гемора. оплачиваешь кредиткой стоимость + p&p - и продукт у тебя. три прокола всего только и имел на амазонах 1, на барнесе и нобле 1 и у самостийных шведов еще 1. барнес и нобль мне отправили гарвардский томик билингвы гомера (одиссея) в январе, а приплыло в июле. так они мне вернули деньги, а потом когда я сказал: давайте разойдемся по-честному, сказали: нет, не надо. надеемся видеть вас и дальше в рядах клиентов.
а вот шведы такой горбатый сервлет написали, что он одновременно:
а) вертится на ихнем серваке
б) контачит с ихним банком
в) контачит с моим банком
г) шлет рипорт на мой компьютер, и в этот момент валится
я проявил нетерпение и заплатил 4 раза за одну покупку. они мне, заразы, эти 160 долларов полгода не отдавали - пришлось запускать механизм опротестования транзакции