История и опыт использования машинного перевода. Автоматизированный машинный перевод при участии человека

Содержание:
Введение ……………………………………………………….………………. 3
1.1 Что такое машинный перевод?...................... .............................. ................ 5
1.2 Начало машинного перевода ……..………….……...….………………… 8
1.3 Этапы развития машинного перевода …………………….………….…. 12
1.4 Современный машинный перевод ……………..……………………….. 15
1.5 Машинный перевод в Интернете …….………………… ……………….. 18
Заключение ……………………………………………………………………. 21
Литература …….……………………...………………………………………. . 22

Введение.
Механизация перевода – это старейшая мечта человечества. Но в XX веке такая мечта стала реальностью. Во многом это связано с постоянным стремлением общества к глобализации и даже с этническими конфликтами и политическими катаклизмами, с упрочнением социально-экономических связей между государствами, интеграции многих ранее «закрытых» стран в мировое сообщество. Знание иностранных языков - это не только полезный навык в повседневной жизни, но также одно из основных требований при приеме на работу. В настоящее время необходимость в знании одного или даже нескольких иностранных языков приобретает всё более явную актуальность. Знание языка (английского или немецкого) необходимо не только в поездке в отпуск за границу, но также и на приеме деловых партнёров из-за рубежа, в обыденной жизни при чтении новостей или просмотре фильмов. Поэтому, большое количество рутинных обыденных и повседневных операций, которые не требовали ранее знания иностранного языка, сегодня, ввиду развития процессов международной интеграции и повсеместному стремлению бизнеса к глобализации, становятся всё более затруднительными, если опираться только на один язык. В связи с этим, на сегодняшний день, всё более востребованными становятся услуги переводчиков, выполняющих на профессиональном уровне переводы на английский, немецкий и другие языки и языковые пары. Однако сегодня одного только знания иностранных языков бывает недостаточно, поскольку объём информации, которую необходимо ежедневно переводить, существенно возрос. Вместе с тем, эта задача успешно решается, и ни для кого не составляет труда всего за несколько секунд перевести контракт или контент иностранного сайта. А всё потому, что переводом в этом случае занимается программа-переводчик: человек не успевает и глазом моргнуть, а перевод уже готов.
Но и сегодня, как и прежде, реальность не совершенна. Нет ни одной системы машинного перевода, которая при нажатии всего нескольких кнопок могла бы сделать безупречный перевод любого текста на любом языке без вмешательства или хотя бы редакции человека. Пока это только планы на далекое будущее, если подобного идеала вообще можно достичь, так как многие подвергают данное предположение сомнению.

1.1 Что такое машинный перевод?

Машинный перевод - это процесс перевода, выполняемый специальной компьютерной программой, который позволяет преобразовать текст на одном естественном языке в эквивалентный по содержанию текст на другом языке. Так же называется направление научных исследований, связанных с построением подобных систем.
Современный машинный, или автоматический перевод можно рассмотреть во взаимодействии компьютерной программы с человеком:

      С постредактированием, когда исходный текст перерабатывается машиной, а человек-редактор исправляет результат.
      С предредактированием, когда человек приспосабливает текст к обработке машиной, например, устраняет возможные неоднозначные прочтения, упрощает и размечает текст, после чего начинается программная обработка.
      С интерредактированием, при котором человек вмешивается в работу системы перевода, разрешая трудные случаи.
      Смешанные системы, включающие, например, одновременно пред- и постредактирование.
Основной целью машинного перевода, как науки является разработка алгоритма, который полностью автоматизирует процесс перевода.
Для осуществления машинного перевода в компьютер вводится специальная программа, реализующая алгоритм перевода, под которым понимается последовательность однозначно и строго определенных действий над текстом для нахождения переводных соответствий в данной паре языков L 1 – L 2 при заданном направлении перевода (с одного конкретного языка на другой). Система машинного перевода включает в себя двуязычные словари, снабженные необходимой грамматической информацией (морфологической, синтаксической и семантической) для обеспечения передачи эквивалентных, вариантных и трансформационных переводных соответствий, а также алгоритмические средства грамматического анализа, реализующие какую-либо из принятых для автоматической переработки текста формальных грамматик. Имеются также отдельные системы машинного перевода, рассчитанные на перевод в рамках трех и более языков, но они в настоящее время являются экспериментальными.
Наиболее распространенной является следующая последовательность формальных операций, обеспечивающих анализ и синтез в системе машинного перевода:
1. На первом этапе осуществляется ввод текста и поиск входных словоформ (слов в конкретной грамматической форме, например дательного падежа множественного числа) во входном словаре (словаре языка, с которого производится перевод) с сопутствующим морфологическим анализом, в ходе которого устанавливается принадлежность данной словоформы к определенной лексеме (слову как единице словаря). В процессе анализа из формы слова могут быть получены также сведения, относящиеся к другим уровням организации языковой системы.
2. Следующий этап включает в себя перевод идиоматических словосочетаний, фразеологических единств или штампов данной предметной области. Включает определение основных грамматических (морфологических, синтаксических, семантических и лексических) характеристик элементов входного текста, производимое в рамках входного языка; разрешение омографии (конверсионной омонимии словоформ – скажем, англ. round может быть существительным, прилагательным, наречием, глаголом или же предлогом); лексический анализ и перевод лексем. Обычно на этом этапе однозначные слова отделяются от многозначных (имеющих более одного переводного эквивалента в выходном языке), после чего однозначные слова переводятся по спискам эквивалентов, а для перевода многозначных слов используются так называемые контекстологические словари, словарные статьи которых представляют собой алгоритмы запроса к контексту на наличие или отсутствие контекстных определителей значения.
3. Окончательный грамматический анализ, в ходе которого доопределяется необходимая грамматическая информация с учетом данных выходного языка (например, при русских существительных типа сани , ножницы глагол должен стоять в форме множественного числа, притом, что в оригинале может быть и единственное число).
4. Синтез выходных словоформ и предложения в целом на выходном языке.
В зависимости от особенностей морфологии, синтаксиса и семантики конкретной языковой пары, а также направления перевода общий алгоритм перевода может включать и другие этапы, а также модификации названных этапов или порядка их следования, но вариации такого рода в современных системах, как правило, незначительны. Анализ и синтез могут производиться как пофразно, так и для всего текста, введенного в память компьютера; в последнем случае алгоритм перевода предусматривает определение так называемых анафорических связей.
Современный машинный перевод следует отличать от использования компьютеров в помощь человеку-переводчику. В последнем случае имеется в виду автоматический словарь, помогающий человеку быстрее подбирать нужный переводной эквивалент. Хотя и в том, и в другом случае компьютер работает вместе с человеком (переводчиком или редактором), в содержание термина «машинный перевод» входит представление о том, что главную, бoльшую часть работы по переводу и отысканию переводных эквивалентов и переводных соответствий машина берет на себя, оставляя человеку лишь контроль и исправление ошибок. В то время как компьютерный словарь в помощь человеку – это чисто вспомогательное средство для быстрого нахождения переводных соответствий; при этом, однако, в словарях такого рода в ограниченной степени могут быть реализованы и некоторые функции, присущие системам машинного перевода.

1.2 Начало машинного перевода.

Технология машинного перевода, как научное направление, имеет уже почти вековую историю, а первые идеи автоматизации переводческого процесса появились еще в XVII столетии.
Как принято считать, причинами возникновения машинного перевода явился бурно растущий со 2-ой половины XX века поток информации на разных языках различных стран и континентов, необходимость ее усвоения для научно-технического прогресса, недостаточность квалифицированных (особенно в отдельных областях) переводчиков, а также высокая стоимость их подготовки.
О разработке новых способов перевода впервые задумался английский изобретатель Чарльз Бэббидж, предложивший в конце 1830-х гг. проект первого в истории компьютера. Суть работы прибора состояла в использовании потенциала машинной памяти для хранения словарей. Идея Ч. Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных чисел (по 50 зубчатых колес в каждом регистре) можно использовать для хранения словарей. Однако воплотить в жизнь свою идею Бэббиджу так и не удалось.
Теоретической основой начального периода работ по машинному переводу был взгляд на язык как кодовую систему. Пионерами машинного перевода были математики и инженеры. Описания их первых опытов, связанных с использованием только что появившихся ЭВМ для решения криптографических задач, были опубликованы в США в конце 1940-х годов. Датой рождения машинного перевода как исследовательской области обычно считают март 1947 года. Именно тогда, директор отделения естественных наук Рокфеллеровского фонда Уоррен Уивер разработал меморандум, в котором определил задачу текстового перевода с одних языков на другие как еще одну область применения техники дешифрования. В своем письме Норберту Винеру Уоррен Уивер впервые поставил задачу машинного перевода, сравнив ее с задачей дешифровки.
Вслед за этим последовало бурное обсуждение идеи автоматизированного перевода и теоретическая разработка первых технологий. Высказывались предположения о полной замене человека-переводчика электронными системами, многие профессиональные переводчики опасались в ближайшем будущем остаться без работы. Идеи Уивера легли в основу подхода к машинному переводу, основанного на концепции interlingva: стадия передачи информации разделена на два этапа; на первом этапе исходное предложение переводится на язык-посредник (созданный на базе упрощенного английского языка), а затем результат этого перевода представляется средствами выходного языка.
Тот же Уоррен Уивер после ряда дискуссий составил в 1949 меморандум, в котором теоретически обосновал принципиальную возможность создания систем машинного перевода. Системы машинного перевода в те годы довольно сильно отличались от современных систем. Это были очень большие и дорогие машины, которые занимали целые комнаты и требовали для своего обслуживания большой штат инженеров, операторов и программистов. В основном эти компьютеры использовались для осуществления математических расчетов для нужд военных учреждений, а также математических и физических факультетов университетов (последние также были тесно связаны с военной сферой). Поэтому на ранних этапах разработка машинного перевода активно поддерживалась военными; при этом в США основное внимание уделялось русско-английскому направлению, а в СССР - англо-русскому.
Помимо очевидных практических нужд важную роль в становлении машинного перевода сыграло то обстоятельство, что предложенный в 1950 английским математиком А.Тьюрингом знаменитый тест на разумность («тест Тьюринга») фактически заменил вопрос о том, может ли машина мыслить, на вопрос о том, может ли машина общаться с человеком на естественном языке таким образом, что тот не в состоянии будет отличить ее от собеседника-человека. Тем самым вопросы компьютерной обработки естественно-языковых сообщений на десятилетия оказались в центре исследований по кибернетике (а впоследствии по искусственному интеллекту), а между математиками, программистами и инженерами-компьютерщиками, с одной стороны, и лингвистами – с другой установилось продуктивное сотрудничество.
Вскоре, началось финансирование исследований, и в 1952 году состоялась первая конференция в Массачусетском технологическом институте по машинному переводу, организованная логиком и математиком Й.Бар-Хиллелом.
В 1954 общественности были предъявлены первые результаты: фирма IBM совместно с Джорджтаунским университетом (США) успешно осуществили первый эксперимент. Он вошёл в историю как так называемый Джорджтаунский эксперимент, на котором была представлена первая версия электронного переводчика. В ходе эксперимента был продемонстрирован полностью автоматический перевод более 60 предложений с русского языка на английский . Презентация положительно повлияла на развитие машинного перевода в последующие 12 лет.
Эксперимент был задуман и подготовлен с целью привлечения общественн ого и правительственного внимания. Парадоксально, но в его основе лежала довольно простая система : она была основана всего на 6 грамматических правилах , а словарь включал 250 записей. Система была специализированной: в качестве предметной области для перевода была выбрана органическая химия . Программа выполнялась на мэйнфрейме IBM 701 .
В том же 1954 первый эксперимент по машинному переводу был осуществлен в СССР И.К.Бельской (лингвистическая часть) и Д.Ю.Пановым (программная часть) в Институте точной механики и вычислительной техники Академии наук СССР, а первый промышленно пригодный алгоритм машинного перевода и система машинного перевода с английского языка на русский на универсальной вычислительной машине были разработаны коллективом под руководством Ю.А.Моторина. После этого работы начались во многих информационных институтах, научных и учебных организациях страны. Особого упоминания заслуживают работа в этой области отечественных лингвистов, таких, как И.А.Мельчук и Ю.Д.Апресян (Москва), результатом которой стал лингвистический процессор ЭТАП. В 1960 г. в составе НИИ математики и механики в Ленинграде была организована экспериментальная лаборатория машинного перевода, преобразованная затем в лабораторию математической лингвистики Ленинградского государственного университета.
Демонстрация Джорджтаунского эксперимента была широко освещена в СМИ и воспринята как успех. Она повлияла на решение правительств некоторых государств , в первую очередь США , направить инвестиции в область вычислительной лингвистики . Организаторы эксперимента уверяли, что в течение трёх-пяти лет проблема машинного перевода будет решена. Идея машинного перевода стимулировала развитие исследований в теоретическом и прикладном языкознании во всем мире. Появились теории формальных грамматик, большое внимание стало уделяться моделированию языка и отдельных его аспектов, языковой и мыслительной деятельности, вопросам языковой формы и количественных распределений лингвистических явлений. Возникли новые направления лингвистической науки – вычислительная, математическая, инженерная, статистическая, алгоритмическая лингвистика и ряд других отраслей прикладного и теоретического языкознания. В течение 1950-х годов в учебных центрах многих стран мира были открыты отделения прикладной лингвистики и машинного перевода. Так, в СССР такие отделения были созданы в Москве (МГУ им. М.В.Ломоносова, МГПИИЯ им. М.Тореза – ныне МГЛУ), в Минском МГПИИЯ, в Ереване, Махачкале, Ленинградском университете, в университетах Киева, Харькова, Новосибирска, ряда других городов. Исследования и разработки по машинному переводу развернулись также во Франции, Англии, США, Канаде, Италии, Германии, Японии, Нидерландах, Болгарии, Венгрии и других странах, а также в международных организациях, где велик объем переводов с различных языков. В настоящее время исследования ведутся и в таких странах, как Малайзия, Саудовская Аравия, Иран и др.

1.3 Этапы развития машинного перевода.

В результате такого успешного старта развития машинного перевода, казалось, что создание систем качественного автоматического перевода вполне достижимо в пределах нескольких лет. При этом акцент делался на развитие полностью автоматических систем, обеспечивающих высококачественные переводы; участие человека на этапе постредактирования расценивалось как временный компромисс. Профессиональные переводчики всерьез опасались в скором времени остаться без работы...
Однако исследования по машинному переводу за свою историю переживали как подъемы, так и спады. В 1950-х годах в исследования были вложены значительные средства, однако результаты очень скоро разочаровали инвесторов. Одной из главных причин невысокого качества машинного перевода в те годы были ограниченные возможности аппаратных средств: малый объем памяти при медленном доступе к содержащейся в ней информации, невозможность полноценного использования языков программирования высокого уровня. Другой причиной было отсутствие теоретической базы, необходимой для решения лингвистических проблем. В результате этого первые системы машинного перевода сводились к пословному (слово за словом) переводу текстов без какой-либо синтаксической, а тем более смысловой целостности.
В 1959 году философ Й. Бар-Хиллел выступил с утверждением, что высококачественный полностью автоматический перевод не может быть достигнут в принципе. Он исходил из того, что выбор того или иного перевода обусловлен знанием внеязыковой действительности, а это знание слишком обширно и разнообразно, чтобы вводить его в компьютер. Однако Бар-Хиллел не отрицал идею машинного перевода, как таковую, считая перспективным направлением разработку машинных систем, ориентированных на использование их человеком-переводчиком (своего рода "человеко-машинный симбиоз"). Но это выступление самым неблагоприятным образом отразилось на развитии машинного перевода в США. В начале 1960-х годов завершился первоначальный эйфорический этап в развитии МП. Этому в сильнейшей степени способствовала публикация так называемой «Черной книги машинного перевода» – доклада Специального комитета по прикладной лингвистике (ALPAC) Национальной академии наук США, в котором была констатирована невозможность создания в обозримом будущем универсальных систем высококачественного машинного перевода. Комиссия пришла к заключению, что машинный перевод нерентабелен: соотношение стоимости и качества было явно не в пользу последнего, а для нужд перевода технических и научных текстов было достаточно человеческих ресурсов. Следствием этой публикации было сокращение финансирования и общее снижение интереса к проблематике машинного перевода, однако полного сворачивания исследований, в особенности теоретических, не произошло. И первые системы перевода продолжали пользоваться популярностью в военных и научных учреждениях СССР и США.
Новый этап развития технологий машинного перевода начался в 1970-х годах. Этот подъём был связан с появлением вычислительной техники - появление микрокомпьютеров, развитие сетей, увеличение ресурсов памяти. Программисты отказались от идеи создания “идеальной” машины-переводчика: новые системы разрабатывались с целью многократного увеличения скорости перевода информации, но с обязательным участием человека на различных стадиях процесса перевода для достижения наилучшего качества работы.
О возрождении машинного перевода в 70-80-е гг. свидетельствуют следующие факты: Комиссия Европейских общин (CEC) покупает англо-французскую версию Systran, а также систему перевода с русского на английский (последняя развивалась после доклада ALPAC и продолжала использоваться ВВС США и NASA); кроме того, CEC заказывает разработку французско-английской и итальянско-английской версий. В то время благодаря CEC были заложены основы проекта EUROTRA, основанного на разработках групп SUSY и GETA. Одновременно происходит быстрое расширение деятельности по созданию систем машинного перевода в Японии; в США Панамериканская организация здравоохранения (PAHO) заказывает разработку испанско-английского направления (система SPANAM); ВВС США финансируют разработку системы МП в Лингвистическом исследовательском центре при Техасском университете в Остине; группа TAUM в Канаде достигает заметных успехов в разработке своей системы METEO (которая использовалась в основном для перевода метеорологических сводок). Целый ряд проектов, начатых в 70-80-е гг., впоследствии развились в полноценные коммерческие системы. В нашей стране разработку основ технологии машинного перевода продолжила группа специалистов в ВИНИТИ под руководством профессора Г. Г. Белоногова. В результате в 1993 г. была создана промышленная версия системы RETRANS фразеологического машинного перевода с русского языка на английский и обратно, которая применялась в министерствах обороны, путей сообщения, науки и технологий, а также во ВНТИЦ.
Очередной этап исследований в области машинного перевода – это 90-е года прошлого века. Связано это, конечно же, с колоссальным прогрессом современных персональных компьютеров, появлением качественных и доступных массовому пользователю сканеров и эффективных программ оптического распознавания текста и, конечно же, с появлением глобальной компьютерной сети Интернет. Всё это придало новый стимул работам по машинному переводу, привлекло в данную область новые значительные инвестиции и увенчалось серьезными практическими результатами. А именно, появились достаточно эффективные системы машинного перевода и компьютерные словари для работы на персональном компьютере; произошло объединение систем машинного перевода с системами оптического распознавания текста и проверки орфографии. Были созданы специальные средства машинного перевода для работы в Интернет, обеспечивающие либо перевод текстов на серверах соответствующих компаний, либо онлайновый перевод Web-страниц, позволяющий преодолевать языковой барьер и осуществлять навигацию по иностранным сайтам.

1.4 Современный машинный перевод.

Сегодняшние программы-переводчики имеют гораздо более широкий «кругозор» и действуют на основе более совершенных переводческих технологий. Системы перевода активно используются во всем мире в случаях, когда требуется быстро понять смысл текста или часто переводить большие объемы информации. Некоторым разработчикам на сегодняшний день удалось достичь весьма приемлемого качества перевода по отдельным языковым направлениям.
Современный машинный перевод следует отличать от использования компьютеров в помощь человеку-переводчику. В последнем случае имеется в виду автоматический словарь, помогающий человеку быстрее подбирать нужный переводной эквивалент. В содержание термина «машинный перевод» входит представление о том, что главную, большую часть работы по переводу и отысканию переводных эквивалентов и переводных соответствий машина берет на себя. Человеку предоставляется лишь контроль и исправление ошибок, в то время как компьютерный словарь в помощь человеку – это чисто вспомогательное средство для быстрого нахождения переводных соответствий.
В практике переводческой деятельности и в информационной технологии различаются два основных подхода к машинному переводу. С одной стороны, результаты машинного перевода могут быть использованы для поверхностного ознакомления с содержанием документа на незнакомом языке. В этом случае он может использоваться как сигнальная информация и не требует тщательного редактирования. Другой подход предполагает использование машинного перевода вместо обычного «человеческого». Это предполагает тщательное редактирование и настройку системы перевода на определенную предметную область. Здесь играют роль полнота словаря, ориентированность его на содержание и набор языковых средств переводимых текстов, эффективность способов разрешения лексической многозначности, результативность работы алгоритмов извлечения грамматической информации, нахождения переводных соответствий и алгоритмов синтеза. На практике перевод такого типа становится экономически выгодным, если объем переводимых текстов достаточно велик, если тексты достаточно однородны, словари системы полны и допускают дальнейшее расширение, а программное обеспечение удобно для постредактирования. Такого рода системы машинного перевода используются в организациях, потребности которых в оперативных и качественных переводах достаточно велики.
В рамках технологии машинного перевода существует два подхода: традиционный (основанный на правилах) и статистический (основанный на статистической обработке словарных баз). Традиционный метод МП используется большинством разработчиков систем перевода. Работа такой программы включает в себя несколько этапов и, по сути, заключается в использовании лингвистических правил (алгоритмов). Соответственно, создание такого электронного переводчика включает в себя разработку правил и пополнение словарных баз системы. От разработки необходимых алгоритмов зависит качество перевода на выходе. Богатый словарь системы также позволяет справиться с переводом самых разнообразных по тематике текстов. Статистический метод действует совсем по иному принципу. В его основе лежат математические методы для получения перевода. Точнее, весь принцип работы подобной системы основан на статистическом вычислении вероятности совпадений фраз из исходного текста с фразами, которые хранятся в базе системы перевода.
В России с помощью традиционного способа машинного перевода разрабатываются программные продукты компании ПРОМТ - единственного в нашей стране производителя программ-переводчиков. В настоящее время компания ПРОМТ – ведущий разработчик систем автоматизированного перевода и обладает колоссальным технологическим багажом, что позволяет разрабатывать системы перевода с различными функциональными возможностями. Уникальные технологии построения систем перевода и оригинальные алгоритмы работы с текстами на естественных языках стали тем базисом, на котором были созданы все программные продукты компании, и который обеспечил возможность разработки широкого спектра решений для автоматизированного перевода с одного языка на другой. Программные продукты компании ПРОМТ одинаково полезны как для решения бизнес-задач, так и для домашнего использования. В последнее время особое внимание компания ПРОМТ уделяет созданию специальных средств и технологий для профессиональных переводчиков. В настоящее время системы ПРОМТ выполняют перевод для 24 языковых направлений . Генеральный словарь для одной языковой пары содержит от 40 до 200 тысяч словарных статей, которые в свою очередь содержат структурированное описание различной лингвистической информации, необходимой системе для работы сложнейших алгоритмов анализа и синтеза текста. Словари по тематикам содержат специфические слова и выражения, характерные для предметной области, их объем может меняться от 5 до 50 тысяч словарных статей. Например, для англо-русской и русско-английской систем разработаны специализированные словари, охватывающие более 50 различных тематик.

1.5 Машинный перевод в Интернете.

Онлайновый перевод информации в Интернете становится все более популярным. Интернет стремительно превращается из преимущественно англоязычной в многоязычную среду, что вынуждает владельцев Web-сайтов предоставлять информацию на нескольких языках. Наиболее часто к услугам МП прибегают информационные и поисковые сайты, которые стремятся привлечь на свои страницы разноязычных пользователей. Так, на канадском информационно-поисковом портале InfiniT (http://www.infiniT.com) открылся новый сервис переводов. На сайте теперь доступен онлайновый перевод текста с английского и немецкого языков на французский язык и обратно. Увеличение числа посетителей портала обусловлено возможностью онлайнового перевода Web-страниц. Для этого пользователю достаточно указать только адрес Web-страницы, выбрать направление перевода и нажать кнопку перевода. В результате через несколько секунд пользователь получает полностью переведенную Web-страницу с сохранением форматирования.
Новый сервис позволяет ликвидировать языковую проблему в канадском Интернете, где в силу исторических особенностей широко используются два языка: английский и французский. Кроме того, онлайновый переводчик открывает доступ к сайтам на немецком языке тем жителям Канады, которые не владеют иностранными языками. Сервис работает на базе серверного Интернет-решения компании ПРОМТ под названием PROMT Internet Translation Server version 2.0. Проект был реализован совместно с компанией Softissimo, которая занимается продвижением продуктов компании ПРОМТ под торговой маркой REVERSO. Интересной особенностью Web-сайтов, знакомящих с программами МП, электронными словарями и другими программами лингвистической поддержки, является то, что с работой многих программных продуктов можно познакомиться в интерактивном режиме, используя версию, установленную на сервере и имеющую шлюз для удаленного общения через Web-интерфейс. На сервере Web-издательства "ИнфоАрт" (http://www.
infoart.ru/misc/dict) организована интерактивная демонстрация словарей Lingvo и "МультиЛекс". Вы можете ввести слово или словосочетание и мгновенно получить перевод, толкование, примеры употребления и устойчивые словосочетания.
Наиболее универсальным является PROMT Internet. Купив этот пакет, вы получите сразу несколько программ для перевода Web-страниц, и не только их. Можно с уверенностью сказать, что возможностей данного набора приложений вполне достаточно для полноценной работы с документами на английском, французском и немецком языке. Если вы предполагаете использовать универсальную переводящую программу WebTranSite 98 или броузер WebView больше, чем другие части пакета PROMT Internet, и при этом желаете сэкономить немного денег, то можете приобрести эти продукты по отдельности. В таком случае WebTranSite 98 придется по вкусу тем, кто часто переводит небольшие фрагменты текста не только из Интернет, но и из офисных, почтовых и других программ, а также из системы интерактивной справки.
WebTranSite 98 подходит не только для перевода Web-страниц. Она достаточно универсальна и позволяет обрабатывать фрагменты
и т.д.................

Докладчики: Ирина Рыбникова и Анастасия Пономарёва.

Мы расскажем про историю машинного перевода и про то, как мы используем его в Яндексе.

Еще в XVII веке ученые размышляли о существовании какого-то языка, который связывает между собой другие языки, и наверное, это слишком давно. Давайте поближе вернемся. Все мы хотим понимать людей вокруг - неважно, куда мы приехали, - мы хотим видеть, что написано на вывесках, мы хотим читать объявления, информацию о концертах. Идея вавилонской рыбки бороздит умы ученых, встречается в литературе, кинематографе - везде. Мы хотим сократить то время, за которое мы получаем доступ к информации. Мы хотим читать статьи о китайских технологиях, понимать любые сайты, которые мы видим, и хотим это получать здесь и сейчас.

В разрезе этого невозможно не говорить про машинный перевод. Это то, что помогает решать указанную задачу.

Отправной точкой считается 1954 год, когда в США на машине IBM 701 было переведено 60 предложений по общей тематике органической химии с русского на английский, и в основе всего этого лежало 250 терминов глоссария и шесть грамматических правил. Это называлось Джорджтаунским экспериментом, и это настолько потрясло реальность, что газеты пестрили заголовками, что еще три-пять лет, и проблема будет полностью решена, все будут счастливы. Но как вы знаете, все пошло немного по-другому.

В 70-е годы появился машинный перевод на основе правил. В его основе тоже лежали двуязычные словари, но и те самые наборы правил, которые помогали описывать любой язык. Любой, но с ограничениями.

Требовались серьезные эксперты-лингвисты, которые прописывали правила. Это достаточно сложная работа, она все равно не могла учесть контекст, полностью покрыть какой бы то ни было язык, но они были экспертам, и высокие вычислительные мощности тогда не требовались.

Если говорить про качество, классический пример - цитата из Библии, которая переводилась тогда так. Пока недостаточно. Поэтому люди продолжали дальше работать над качеством. В 90-е годы возникла статистическая модель перевода, SMT, которая говорила о вероятностном распределении слов, предложений, и эта система принципиально отличалась тем, что она вообще ничего не знала про правила и про лингвистику. Она получала на вход огромное количество идентичных текстов, парных на одном языке и другом, и дальше сама принимала решения. Это было легко поддерживать, не нужны были кучи экспертов, не требовалось ждать. Можно было загружать и получать результат.

Требования к входящим данным были достаточно средние, от 1 до 10 млн сегментов. Сегменты - предложения, небольшие фразы. Но оставались свои трудности и не учитывался контекст, все было не очень легко. И в России, например, появились такие случаи.

Мне еще нравится пример переводов игр GTA, великолепный был результат. Все не стояло на месте. Достаточно важным майлстоуном был 2016 год, когда запустился нейронный машинный перевод. Это было достаточно эпохальное событие, которое сильно перевернуло жизнь. Моя коллега, посмотрев переводы и то, как мы их используем, сказала: «Круто, он говорит моими словами». И это было реально здорово.

Какие особенности? Высокие требования на входе, обучающий материал. Внутри компании это сложно поддерживать, но существенный рост качества - это то, ради чего это затевалось. Только качественный перевод позволит решить поставленные задачи и облегчит жизнь всем участникам процесса, тем же переводчикам, которые не хотят исправлять плохой перевод, они хотят делать новые творческие задачи, а рутинные шаблонные фразы давать машине.

В рамках машинного перевода есть два подхода. Экспертная оценка / лингвистический анализ текстов, то есть проверка реальными лингвистами, экспертами на соответствие смыслу, грамотности языка. В некоторых случаях еще сажали экспертов, давали вычитать переведенный текст и оценивали, насколько это эффективно с этой точки зрения.

Какие особенности этого метода? Не требуется образец перевода, мы смотрим на готовый переведенный текст сейчас и оцениваем объективно по любому разрезу. Но это дорого и долго.

Есть второй подход - автоматические референсные метрики. Их много, у каждой есть плюсы и минусы. Не буду углубляться, про эти ключевые слова потом можно почитать детальнее.

Какая особенность? По факту это сравнение переведенных машинных текстов с каким-то образцовым переводом. Это количественные метрики, которые показывают расхождение между образцовым переводом и тем, что получилось. Это быстро, дешево и можно сделать достаточно удобно. Но есть особенности.

По факту чаще всего сейчас используют гибридные методы. Это когда изначально оценивается что-то автоматически, потом анализируется матрица ошибок, потом на более мелком корпусе текстов проводится экспертный лингвистический анализ.

Последнее время еще распространена практика, когда мы туда не лингвистов зовем, а просто пользователей. Делается интерфейс - покажите, какой вам перевод больше нравится. Или когда вы ходите в онлайн-переводчики, вы вводите текст, и можете часто проголосовать, что вам больше нравится, подходит этот подход или нет. По сути, все мы сейчас обучаем эти движки, и все, что мы им даем на перевод, они используют для обучения и работают над своим качеством.

Хотелось бы рассказать, как мы в работе используем машинный перевод. Передаю слово Анастасии.

Мы в Яндексе в отделе локализации поняли достаточно быстро, что возможности у технологии машинного перевода большие, и решили попробовать использовать его в наших ежедневных задачах. С чего мы начали? Мы решили провести небольшой эксперимент. Мы решили перевести одни и те же тексты через обычный нейросетевой переводчик, а также собрать обученный машинный переводчик. Для этого мы подготовили корпуса текстов в паре русский-английский за те годы, что мы в Яндексе занимались локализацией текстов на эти языки. Далее мы пришли с этим корпусом текстов к нашим коллегам из Яндекс.Переводчика и попросили обучить движок.

Когда движок был обучен, мы перевели очередную порцию текстов, и как сказала Ирина, с помощью экспертов оценили полученные результаты. Переводчиков мы просили посмотреть на грамотность, стиль, правописание, передачу смысла. Но самый поворотный момент был, когда один из переводчиков сказал, что «я узнаю свой стиль, узнаю свои переводы».

Чтобы подкрепить эти ощущения, мы решили посчитать уже статистические показатели. Сначала мы посчитали коэффициент BLEU для переводов, сделанных через обычный нейросетевой движок, и получили такую цифру (0,34). Казалось бы, ее надо с чем-то сравнить. Мы снова пошли к коллегам из Яндекс.Переводчика и попросили объяснить, какой коэффициент BLEU считается пороговым для переводов, сделанных реальным человеком. Это от 0,6.

Потом мы решили проверить, какие результаты на обученных переводах. Получили 0,5. Результаты действительно обнадеживающие.

Привожу пример. Это реальная русская фраза из документации Директа. Потом она была переведена через обычный нейросетевой движок, а потом через обученный нейросетевой движок на наших текстах. Уже в первой же строчке мы замечаем, что традиционный для Директа, вид рекламы, не распознан. А уже в обученном нейросетевом движке появляется наш перевод, и даже аббревиатура практически верная.

Мы были очень воодушевлены полученными результатами, и решили, что наверное, стоит использовать машинный движок в других парах, на других текстах, не только на том базовом наборе технической документации. Дальше проводили несколько месяцев ряд экспериментов. Столкнулись с большим количеством особенностей и проблем, это самые частые проблемы, что нам приходилось решать.

Про каждую расскажу подробнее.

Если вы так же, как и мы, соберетесь сделать кастомизированный движок, вам понадобится достаточно большое количество качественных параллельных данных. Большой движок можно обучить на количестве от 10 тыс. предложений, в нашем случае мы подготовили 135 тыс. параллельных предложений.

Не на всех типах текста ваш движок покажет одинаково хорошие результаты. В технической документации, где есть длинные предложения, структура, пользовательская документация и даже в интерфейсе, где есть короткие, но однозначные кнопки, скорее всего, у вас все будет хорошо. Но возможно, как и у нас, вы столкнетесь с проблемами в маркетинге.

Мы проводили эксперимент, переводя плейлисты музыки, и получили такой пример.

Вот что думает машинный переводчик про звездных фабриканток. Что это ударники труда.

При переводе через машинный движок контекст не учитывается. Тут уже не такой смешной пример, а вполне реальный, из технической документации Директа. Казалось бы, тех - понятно, когда ты читаешь техническую документацию, тех - это техническое. Но нет, машинный движок не попал.

Еще придется учитывать, что качество и смысл перевода будет сильно зависеть от языка-оригинала. Переводим фразу на французский с русского, получаем один результат. Получаем похожую фразу с таким же смыслом, но с английского, и получаем другой результат.

Если у вас, как и в нашем тексте, большое количество тегов, разметки, каких-то технических особенностей, скорее всего вам придется их отслеживать, править и писать какие-то скрипты.

Вот примеры реальной фразы из браузера. В круглых скобках техническая информация, которая не должна переводиться, в частности множественные формы. В английском они на английском, и в немецком тоже должны остаться на английском, но они переведены. Вам придется отслеживать эти моменты.

Машинный движок ничего не знает про ваши особенности именования. Например, у нас есть договоренность, что Яндекс.Диск мы везде называем на латинице во всех языках. Но на французском он превращается в диск на французском.

Аббревиатуры иногда распознаются корректно, иногда нет. В данном примере BY, обозначая принадлежность к белорусским техническим требованиям по размещению рекламы, превращается в предлог в английском.

Один из моих любимых примеров - новые и заимствованные слова. Тут классный пример, слово дисклеймер, «исконно русский». Терминологию придется выверять для каждой части текста.

И еще одна, уже не такая значительная проблема - устаревшее написание.

Раньше интернет был новинкой, во всех текстах писался с большой буквы, и когда мы обучали наш движок, везде интернет был с большой буквы. Сейчас новая эра, интернет уже пишем с маленькой буквы. Если вы хотите, чтобы ваш движок продолжал писать интернет с маленькой буквы, вам придется его переобучать.

Мы не отчаивались, решали эти проблемы. Во-первых, меняли корпусы текстов, пробовали на других тематиках переводить. Мы передавали наши замечания коллегам из Яндекс.Переводчика, повторно обучали нейросеть и смотрели на результаты, оценивали, и просили доработать. Например, распознавание тегов, обработку HTML разметки.

Я покажу реальные варианты использования. У нас хорошо идет машинный перевод для технической документации. Это реальный кейс.

Вот фраза на английском и на русском. Переводчик, который занимался этой документацией, был очень воодушевлен адекватным выбором терминологии. Еще пример.

Переводчик оценил выбор is вместо тире, что тут поменялась структура фразы на английскую, адекватный выбор термина, которая является верным, и слово you, которого нет в оригинале, но он делает этот перевод именно английским, естественным.

Еще один кейс - переводы интерфейсов на лету. Один из сервисов решил не заморачиваться с локализацией и переводить тексты прямо во время загрузки. Но после изменения движка примерно раз в месяц слово «доставка» менялось по кругу. Мы предложили команде подключить не обычный нейросетевой движок, а наш, обученный на технической документации, чтобы использовался всегда один и тот же термин, согласованный с командой, который уже есть в документации.

Как это все действует на денежный момент? Исконно так сложилось, что в паре русский-украинский требуется минимальная редактура украинского перевода. Поэтому мы пару месяцев назад решили перейти на систему постэдитинга. Вот как растет наша экономия. Сентябрь еще не закончился, но мы прикинули, что мы сократили наши затраты на постэдитинг приблизительно на треть на украинском, и дальше собираемся редактировать практически все, кроме маркетинговых текстов. Слово Ирине для подведения итогов.

Ирина:
- Для всех становится очевидным, что пользоваться этим надо, это уже является нашей реальностью, и исключать это из своих процессов и интересов нельзя. Но нужно подумать о нескольких вещах.

Определитесь с тем типов документов, контекста, с которым вы работаете. Подходит ли эта технология конкретно для вас?

Второй момент. Мы разговаривали про Яндекс.Переводчик, потому что мы в хороших отношениях, у нас прямой доступ к разработчикам и так далее, но по факту вам нужно определиться - какой из движков будет наиболее оптимальным для вас конкретно, для вашего языка, вашей тематики. Этой теме будет посвящен следующий доклад . Будьте готовы, что пока еще есть трудности, разработчики движков все вместе работают над решением трудностей, но пока они еще встречаются.

Хотелось бы понять, что нас ждет в дальнейшем. Но по факту, это уже не дальнейшее, а наше нынешнее время, то, что происходит здесь и сейчас. Нам всем скорее нужна кастомизация под нашу терминологию, под наши тексты, и это то, что сейчас становится публичным. Теперь все работают над тем, чтобы вы не ходили внутрь компании, не договаривались с разработчиками конкретного движка, как бы это оптимизировать под вас. Вы сможете это получать в публичных открытых движках по API.

Кастомизация идет не только по текстам, но и по терминологии, по настройке терминологии под ваши собственные нужны. Это достаточно важный момент. Вторая тема - интерактивный перевод. Когда переводчик переводит текст, технология позволяет ему предсказывать следующие слова с учетом исходного языка, исходного текста. Это оже существенно может облегчать работу.

О том, что сейчас действительно дорого. Все думают, как меньшими объемами текста обучить какие-то движки гораздо более эффективно. Это то, что происходит везде и запускается повсеместно. Думаю, тема очень интересная, а дальше будет еще интереснее.

Для начала, следует обозначить некоторые важные даты в истории машинного перевода:

1947 - дата рождения машинного перевода, как научного направления. Уоррен Уивер, директор отделения естественных наук Рокфеллеровского фонда, написал письмо Норберту Винеру, в котором рассматривал задачу перевода текстов с одних языков на другие, как еще одну область применения техники дешифрования. За этим письмом последовало множество дискуссий. 1947 - А.Бут и Д.Бриттен разработали подробный "код" для пословного машинного перевода. 1948 - Р.Риченс предложил правила разбиения словоформ на основу и окончание. 1952 - первая конференция по машинному переводу в Массачусетском технологическом институте. 1954 - представлена первая система машинного перевода - IBM Mark II - русско-английская, имела словарь в 250 единиц и 6 грамматических правил. Последовавшее за этим десятилетие было временем бурного развития машинного перевода. 1967 - специально созданная в США Комиссия Национальной Академии наук, исходя из реальной ситуации с переводами в США и показателей стоимости различных способов перевода, пришла к выводу, что машинный перевод нерентабелен. Доклад существенно затормозил развитие МП в целом. 70-е годы - новый подъем работ в области МП. С развитием вычислительной техники появились новые возможности машинной реализации лингвистических алгоритмов. 80-е годы - время работы персональных компьютеров значительно подешевело, машинный перевод наконец-то стал экономически выгодным. 90-е годы - отмечается очередной рост интереса к машинному переводу, что связано с появлением и бурным развитием Internet. Возможности перевода в режиме он-лайн позволяют преодолеть языковой барьер и осуществлять навигацию по иностранным сайтам.

А сейчас следует рассмотреть эти факты подробнее:

Итак, впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж (1791-1871), разработавший в 1836-1848 гг. проект цифровой аналитической машины - механического прототипа электронных цифровых вычислительных машин, появившихся через 100 лет. Идея Ч. Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных чисел (по 50 зубчатых колес в каждом регистре) можно использовать для хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для запроса у английского правительства средств, необходимых для физического воплощения аналитической машины, которую ему так и не удалось построить (см. Апокин и др. Чарльз Бэббидж. М., Наука, 1981).

Мысль использовать ЭВМ для перевода была высказана в 1946 году, сразу после появления первых ЭВМ. Датой рождения МП как области исследований принято считать 1947 г.: все началось с письма Уоррена Уивера, директора отделения естественных наук Рокфеллеровского фонда, к Норберту Винеру в марте того же года, в котором задача перевода сравнивалась с задачей дешифровки текстов. Последняя в то время уже стала выполняться на электромеханических устройствах. За этим письмом последовало множество дискуссий, появился меморандум о целях, и, наконец, были выделены средства на исследования. Первая публичная демонстрация машинного перевода (так называемый Джорджтаунский эксперимент) состоялась в 1954 году.Несмотря на примитивность той системы (словарь в 150 слов, грамматика из 6 правил, перевод нескольких простых фраз), этот эксперимент получил широкий резонанс: начались исследования в Англии, Болгарии, ГДР, Италии, Китае, Франции, ФРГ, Японии и других странах; в том же 1954 году и в СССР.

Первое поколение систем машинного перевода базировалось на алгоритмах последовательного перевода «слово за словом», «фраза за фразой». Возможности таких систем определялись доступными размерами словарей, прямо зависящими от объема памяти компьютера. Перевод текста осуществлялся отдельными предложениями, смысловые связи между ними никак не учитывались. Такие системы называют системами прямого перевода. На смену им со временем пришли системы последующих поколений, в которых перевод от языка к языку осуществлялся на уровне синтаксических структур. В алгоритмах перевода использовался набор операций, позволяющий путем анализа переводимого предложения построить его синтаксическую структуру по правилам грамматики языка входного предложения (так же, как учат детей языку в средней школе), а затем преобразовать ее в синтаксическую структуру выходного предложения и синтезировать выходное предложение, подставляя нужные слова из словаря. Такие системы называются Т-системами (от английского слова transfer - преобразование).

Наиболее совершенным считается подход к построению систем машинного перевода на основе получения некоторого, независимого от языков, смыслового представления входного предложения путем его семантического анализа. Затем производится синтез выходного предложения по полученному смысловому представлению. Такие системы называют И-системами (И - от слова "интерлингва"). Считается, что следующие поколения систем машинного перевода будут относиться к классу И-систем.

Однако, слишком много трудностей и неясностей было в том, как нужно формализовать и строить алгоритмы для работы с текстами, какие словари надо вводить в машину, какие лингвистические закономерности следует использовать при машинном переводе и каковы вообще эти закономерности.

Выяснилось, что традиционная лингвистика не располагает ни фактическим материалом, ни идеями и представлениями, нужными для построения систем машинного перевода, которые использовали бы смысл переводимого текста.

Традиционная лингвистика не могла дать исходные представления не только в части семантики, но и в части синтаксиса. Ни для одного языка в то время не существовало перечней синтаксических конструкций, не были изучены условия их сочетаемости и взаимозаменяемости, не были разработаны правила построения крупных единиц синтаксической структуры из более мелких. В сущности, ни на один вопрос, поставленный в связи с построением систем машинного перевода, традиционная лингвистика в 50-х годах не могла дать ответа.

А к середине 1960-х в США для практического использования были предоставлены две системы русско-английского перевода:

  • · MARK (в Департаменте иностранной техники ВВС США);
  • · GAT (разработка Джорджтаунского университета, использовалась в Национальной лаборатории атомной энергии в Окридже и в центре Евратома в г. Испра, Италия).

Однако созданная для оценки подобных систем комиссия ALPAC пришла к выводу, что в силу низкого качества машинно переведенных текстов эта деятельность в условиях США нерентабельна. Хотя комиссия рекомендовала продолжать и углублять теоретические разработки, в целом ее выводы привели к росту пессимизма, снижению финансирования, часто к полному прекращению работ по этой тематике.

Тем не менее, в ряде стран исследования продолжались, чему способствовал постоянный прогресс вычислительной техники. Особенно существенным фактором стало появление мини- и персональных компьютеров, а с ними всё более сложных словарных, поисковых и т. п. систем, ориентированных на работу с естественноязыковыми данными. Росла и необходимость в переводе как таковом ввиду роста международных связей. Все это привело к новому подъему этой области, наступившему примерно с середины 1970-х. В 1980-е наступило время широкого практического использования переводческих систем, сложился рынок коммерческих разработок по этой теме.

Впрочем, мечты, с которыми род людской взялся полвека назад за задачу машинного перевода, в значительной мере остаются мечтами: высококачественный перевод текстов широкой тематики по-прежнему недостижим. Однако несомненным является ускорение работы переводчика при использовании систем машинного перевода: по оценкам конца 1980-х, до пяти раз. В 1990 г. Ларри Чаилдс, специалист по машинному переводу, предложил следующую классификацию систем машинного перевода:

  • · FAMT (Fully-automated machine translation) - полностью автоматизированный машинный перевод;
  • · HAMT (Human-assisted machine translation) - машинный перевод при участии человека;
  • · MAHT (Machine-assisted human translation) - перевод, осуществляемый человеком с использованием компьютера.

В настоящее время существует множество коммерческих проектов машинного перевода. Одним из пионеров в области машинного перевода была компания Systran. В России большой вклад в развитие машинного перевода внесла группа под руководством профессора Пиотровского (Российский государственный педагогический университет им. Герцена, Санкт-Петербург).

Концевой Даниил Сергеевич,
ЧОУ ВО «Омская юридическая академия», г. Омск

Переводчик в сфере профессиональных коммуникаций - это человек, активно владеющий иностранным языком профессиональной сферы, умеющий логически верно, аргументировано и ясно строить иноязычную устную и письменную речь, а главное, владеть техникой использования систем машинного перевода, ведь даже профессионалы не могут обойтись без обращения к электронным переводчикам.

Машинный перевод - выполняемый на компьютере, или ином электронном устройстве процесс по преобразованию текста одного языка на эквивалентный по содержанию текст другого языка, а также результат такого действия. Так как не существует полностью автоматизированных электронных переводчиков, способных точно и верно по смыслу переводить текст, специалист-переводчик должен этот текст подготовить, или же исправить ошибки и недочеты уже в обработанном машиной тексте.

Существуют четыре формы организации взаимодействия компьютера и человека при осуществлении машинного перевода:

  • предредактирование: человек подготавливает текст к обработке компьютером (упрощает смысл текста, устраняет неоднозначные прочтения, размечает текст), после чего производится машинный перевод;
  • интерредактирование: человек непосредственно вмешивается в работу системы перевода, разрешая проблемные вопросы;
  • постредактирование: исходный текст целиком подвергается машинной обработке, а человек исправляет полученный результат путем редактирования переведенного текста;
  • смешанная система.

Современные электронные переводчики способны производить адекватный для восприятия перевод отдельных фраз и предложений, они служат для облегчения работы человека-переводчика, для избавления его от рутинной работы поиска значений определенных слов и словосочетаний в словарях.

Для освоения систем машинного перевода необходимо хотя бы в общих чертах понимать технологии электронного перевода. В машинном переводе их несколько:

1) Прямой машинный перевод

Прямой машинный перевод является самым старым подходом машинного перевода. При таком способе перевода текст на исходном языке не подвергается структурному анализу за пределами морфологии. Такой перевод использует большое количество словарей и является пословным, если не считать небольшой грамматической корректировки, например, касательно порядка слов и морфологии. Система прямого перевода предназначена для особых пар языков. Лексикон представляет собой хранилище информации о специфике слов. Эти системы зависят от качества подготовки словарей, морфологического анализа и программного обеспечения по обработке текста. Примером системы прямого перевода может служить Systran.

2) Машинный перевод, основанный на правилах, использует объемное хранилище лингвистических правил и двуязычных словарей для каждой языковой пары. Типами машинного перевода, основанного на правилах, можно назвать принцип Interlingua (Интерлингва) и машинный перевод типа Transfer (Перенос).

  • Машинный перевод Интерлингва

При машинном переводе, основанном на принципе Interlingua, перевод осуществляется через промежуточную (семантическую) модель текста исходного языка. Interlingua являет собой не зависящую от конкретного языка модель, из которой может быть сгенерирован перевод на любой язык. Принцип Interlingua допускает возможность трансформации текста на исходном языке в модель, общую для нескольких языков.

  • Машинный перевод Transfer основан на идее Interlingua с использованием сопоставительного анализа двух языков. Три этапа данного процесса: анализ, перенос и генерирование. Сначала текст на исходном языке переводится в абстрактную или промежуточную модель исходного языка, которая затем преобразуется в модель целевого языка, чтобы потом окончательно оформиться в текст на целевом языке. Данный принцип проще, нежели Interlingua, но зато здесь сложнее избежать неоднозначности.

3) Машинный перевод на корпусах текстов

Корпусный подход в машинном переводе использует совокупность (корпус) параллельных двуязычных текстов. Главным преимуществом систем машинного перевода с корпусным подходом является их самонастройка, т.е. они способны запоминать терминологию и даже стилистику фраз из текстов предыдущих переводов. Статистический машинный перевод и машинный перевод, основанный на примерах, представляют собой варианты корпусного подхода.

  • Статистический машинный перевод

Это разновидность машинного перевода текста, основанная на сравнении больших объемов языковых пар. Этот переводческий подход использует модели статистического перевода. Один из применяемых подходов - теорема Байеса. Построение моделей статистического перевода - процесс довольно быстрый, но эта технология в большой степени зависит от наличия многоязычного корпуса текстов. Требуется минимум 2 миллиона слов для каждой отдельной области, если речь идет о языке в целом. Статистический машинный перевод требует наличия специального оборудования, для того чтобы «усреднять» переводческие модели. Примером статистического машинного перевода служит Google Translate.

  • Машинный перевод на примерах

Системы машинного перевода, основанного на примерах, базируются на принципе параллельного двуязычного корпуса текстов, в котором в качестве примеров содержатся пары предложений. Каждое предложение дублируется на другом языке. Статистический машинный перевод обладает свойством "обучения". Чем больше в распоряжении текстов (примеров), тем лучше результат машинного перевода.

Каждый переводчик в сфере профессиональной коммуникации столкнется с проблемой выбора надлежащей программы для перевода. Исключая платные сервисы, считаем нужным проанализировать наиболее известные системы.

Большой популярностью пользуется электронный переводчик Google Translate, который разработан компанией Google в середине 2000-х годов. Данная услуга предназначена для перевода текстов и перевода сайтов "на лету". Переводчик использует самообучающийся алгоритм машинного перевода на основе языкового анализа текстов.

В отличие от большинства машинных переводчиков, которые используют технологию SYSTRAN, Google использует собственное программное обеспечение. Google Translate на данный момент является наиболее популярным переводчиком благодаря своей простоте и многофункциональности (а также прямой связи с разработчиком программного обеспечения для компьютеров - Microsoft). Благодаря этому, данная система машинного перевода очень быстро развивается и оптимизируется под нужды пользователей. Поэтому сейчас из функций данного переводчика можно наблюдать: перевод всей веб-страницы; одновременный поиск информации с переводом на другой язык; перевод текста на изображениях; перевод произнесенной фразы; перевод с рукописным вводом; перевод диалога.

Из особенностей данной системы машинного перевода можно выделить:

  1. Варианты перевода контролируются статистическим алгоритмом.

Пользователи всегда могут предлагать собственные варианты перевода тех или иных слов и/или выбирать один из вариантов перевода как наиболее подходящий. Недостатком подобного алгоритма могут служить заведомо неверные варианты перевода, в том числе нецензурные слова.

  1. Охват мировых языков.

То есть сейчас программа работает более чем со ста языками, включая суахили, китайский и валлийский языки. Так, Google Translator в силах осуществить перевод с одного поддерживаемого языка на другой поддерживаемый, но в большинстве случаев перевод выполняется через английский. Минус такого механизма очевиден - страдает качество перевода.

На российском рынке машинных переводчиков лидирующую позицию занимает PROMT, разработанный в 1991 году.

PROMT, равно как и Google Translate, использует собственное программное обеспечение, которое в 2010 году заметно обновилось. Отныне PROMT осуществляет перевод, основываясь на гибридной технологии. Её суть заключается в том, что вместо одного варианта перевода программа производит около сотни переводов одного и того же предложения в зависимости от многозначности слов, конструкций и статистических результатов. Затем машина подбирает наиболее вероятный из предложенных переводов. Таким образом, переводчик способен быстро обучаться, но имеет те же минусы, что и все переводчики, основанные на статистических методах обработки текста.

Из возможностей переводчика можно выделить: перевод слов, словосочетаний и текстов, в том числе с помощью «горячих» клавиш; перевод выделенной области экрана с графическим текстом; перевод документов разных форматов: doc(x), xls(x), ppt(x), rtf, html, xml, txt, ttx, pdf (в том числе отсканированные), jpeg, png, tiff; использование, редактирование и создание специализированных словарей и профилей перевода; подключение баз Translation Memory и глоссариев; интеграция в офисные приложения, веб-браузеры, корпоративные порталы и сайты.

Недостатками переводчика являются: небольшое количество языковых пар, с которыми работает программа; сложный интерфейс; неточности в переводах профессиональной лексики (что, впрочем, устраняется благодаря подключению тематических словарей).

Тем не менее, PROMT признавался лучшим англо-русским переводчиком в рамках ежегодного семинара по статистическому машинному переводу под эгидой Ассоциации компьютерной лингвистики (ACL) в 2013 и в 2014 годах.

Существует множество других систем машинного перевода, но они, так или иначе, копируют различные особенности отечественного переводчика PROMT или американского Google Translate.

Таким образом, переводчик в сфере профессиональной коммуникации, зная технологии машинного перевода, умеющий правильно выбрать электронный переводчик для тех или иных целей, будет подкован для осуществления успешной профессиональной деятельности, ведь на данном этапе развития компьютерных технологий думать о полностью автоматическом машинном переводе еще рано. Человек-переводчик мыслит образами и исходит из цели: донести конкретную мысль до слушателя/читателя. Пока сложно представить компьютерную программу с такими возможностями. Современные машинные переводчики носят вспомогательную роль. Они призваны избавить человека от рутинной работы в процессе перевода. Век бумажных словарей окончен, а в помощь профессионалам-переводчикам (и не только) приходят системы машинного перевода.

Список использованной литературы

  1. www.promt.ru
  2. www.translate.google.com
  3. Белоногов Г.Г. Зеленков Ю.Г. Интерактивная система русско-английского и англо-русского машинного перевода, ВИНИТИ, 1993.
  4. Вестник Московского Университета. Сер.19 Лингвистика и межкультурная коммуникация. 2004. № 4, с.51.

Ваша оценка: Пусто

За последние десятилетия компьютер, подключённый к интернету, стал самым главным инструментом переводчика. Ведь благодаря ему обеспечивается доступ к огромным объёмам информации, а также к электронным словарям и переводчикам. Машинный перевод сегодня стал повседневностью.

Термином «машинный перевод» (МП, он же Machine Translation или MT) называют действие, когда один естественный язык переводится на другой с использованием для этого специального программного обеспечения. Программа при этом может быть установлена непосредственно на компьютере (или ) или быть доступной только при подключении к интернету.

Немного истории

Идея задействовать для перевода вычислительное устройство появилась ещё в 1947 году. Но реализация подобного в те годы была просто невозможна, поскольку вычислительная техника находилась в зачаточном состоянии. Однако уже в 1954 году была предпринята первая попытка машинного перевода. Самый первый словарь включал в себя только 250 слов, а грамматика исчерпывалась 6-ю правилами. Тем не менее, этого оказалось достаточно, чтобы убедиться в большом будущем машинного перевода. Работы в данном направлении начались во многих странах, стали появляться первые системы машинного перевода (СМП), создаваться специальные теории.

В начале развитию машинного перевода мешал низкий уровень вычислительной техники, её очень высокая стоимость. Однако постепенное проникновение в нашу жизнь сначала персональных компьютеров, а затем и интернета, привело к стремительному развитию этой отрасли. Сегодня машинный перевод активно используется в самых разных сферах человеческой деятельности.

Кому это нужно

Развитию машинного перевода способствовало расширение международных отношений. Люди стали чаще ездить в другие страны, выход бизнеса за рубеж перестал быть чем-то исключительным, даже по меркам небольших компаний. А раз так, то всё чаще возникают трудности в общении. Как следствие, машинный перевод сегодня всё чаще используется в бизнесе. Пусть даже результат переводов, предоставляемых компьютером, далёк от идеального, это всё же лучше, чем вообще ничего.

При помощи СМП появляется возможность очень быстро понять содержимое больших объёмов текстов, что просто невозможно при традиционном подходе. Это может быть очень полезно, например, при необходимости классификации большого количества информации на иностранном языке. Или для проведения лингвистического анализа.

Также МП стал обычным явлением при общении в интернете, когда очень важна высокая скорость перевода, понимания того, что сказал вам собеседник. Впрочем, о передаче литературных образов в таком случае можно смело забыть, если вы хотите, чтобы вас правильно понимали. Только «сухие» фразы, без каких-либо двусмысленностей.

Участие человека

Несмотря на создание различных подходов и решение вопросов с вычислительными мощностями, качество машинного перевода всё ещё далеко от идеального. Пусть даже успехи в этом деле и можно назвать впечатляющими, но только по сравнению с самыми первыми системами.

Современные СМП уже научились более-менее достойно переводить технические тексты, которые, как известно, не содержат в себе тех литературных вольностей, так часто встречающихся в текстах художественных. На качество перевода сильное влияние оказывает родственность языков. Например, при переводе с на результат будет куда более достойным, чем с на . Во втором случае полученный текст может оказаться просто нечитабельной бессмыслицей.

По этой причине машинный перевод пока не может обходиться без участия человека. Который либо изначально адаптирует текст, устраняя все возможные двусмысленности (предредактирование), либо редактирует уже готовый перевод, убирая из него почти неизбежные ошибки (постредактирование). Существует также и понятие интерредактирования, когда человек непосредственно вмешивается в работу системы, исправляя возникающие неточности «на лету».

Какие бывают СМП

На сегодняшний день работы в сфере МП разделились на два основных направления:

  • Статистический машинный перевод (Statistical Machine Translation, SMT) ;
  • Машинный перевод, основанный на правилах (Rule-based Machine Translation, RBMT) .

В первом случае перед нами самообучающиеся системы. Перевод становится возможным в результате постоянного анализа огромного количества текстов одинакового содержания, но на разных языках. Система находит и использует всегда существующие закономерности. Качество перевода в случае использования SMT считается достаточно высоким. Но только в том случае, если система уже успела проанализировать огромное количество информации. А для этого необходимо обладать не только самими тестами, но и внушительными вычислительными мощностями. Это означает, что работать в данном направлении могут только крупные компании. Примеры таких систем: Google Translator , Яндекс.Переводчик , а также Bing Translator от Microsoft.

В случае с RBMT-системами все правила создаются людьми, которые затем занимаются их непрестанным «обкатыванием». Соответственно качество результата зависит от того, насколько полно лингвисты сумеют описать естественный язык, с которым они работают. Именно необходимость постоянной поддержки созданной лингвистической базы данных в актуальном состоянии и является главным недостатком RBMT-систем. Зато для создания переводчика, способного обеспечить удовлетворительный результат, не требуются внушительные вычислительные мощности, что позволяет работать в данном направлении небольшим компаниям. В качестве примеров можно привести такие системы, как Multillect , Linguatec и PROMT .

Можно также выделить ещё и третий вариант: гибридный машинный перевод (Hybrid Machine Translation, HMT) . Этот метод объединяет в себе оба подхода, SMT и RBMT. В теории такой подход позволяет получить преимущества обеих технологий. Именно его использует компания Systran , основанная в 1968 году и считающаяся старейшим коммерческим предприятием, работающим в сфере МП.



Последние материалы раздела:

Изменение вида звездного неба в течение суток
Изменение вида звездного неба в течение суток

Тема урока «Изменение вида звездного неба в течение года». Цель урока: Изучить видимое годичное движение Солнца. Звёздное небо – великая книга...

Развитие критического мышления: технологии и методики
Развитие критического мышления: технологии и методики

Критическое мышление – это система суждений, способствующая анализу информации, ее собственной интерпретации, а также обоснованности...

Онлайн обучение профессии Программист 1С
Онлайн обучение профессии Программист 1С

В современном мире цифровых технологий профессия программиста остается одной из самых востребованных и перспективных. Особенно высок спрос на...