Лексический анализ.

Как осуществляется лексический разбор слова? Ответ на поставленный вопрос вы узнаете из данной статьи. Кроме этого, вашему вниманию будет представлено несколько примеров такого разбора.

Общая информация

Лексический разбор слова осуществляется при помощи различных лингвистических словарей, а именно толкового, фразеологического, словаря антонимов, синонимов и омонимов.

7. Слово «косарь» - устаревшее. Соответственно, оно не является частью активного словарного запаса современных людей.

Лексический разбор слова «золотая»

Проанализируем слово «золотая», которое входит в следующее предложение: «Пришла к нам золотая осень».

1. Золотая осень - время года, когда все деревья и травы становятся желтыми и напоминают оттенок золота (металла).

2. Слово «золотая» имеет несколько значений, а именно:

• сделанный из золота;
• шитый золотом;
• исчисляемый по курсу золота;
• подобный цвету золота;
• прекрасный, очень хороший и замечательный;
• благоприятный и самый счастливый;
• любимый, дорогой (в обращении к кому-либо);
• минералогические и ботанические названия.

3. Значение - переносное.

4. Вид переносного значения словосочетания «золотая осень» - метафора (обозначает подобный цвету золота).

5. Синонимами выражения «золотая» являются следующие: желтая, сказочная, восхитительная и пр.

6. Слово «золотая» имеет следующие антонимы: грязная, отвратительная, скверная, плохая.

9. Слово «золотая» - не устаревшее. Соответственно, оно является частью активного словарного запаса современных людей.

Лексический анализ других слов

Приведем еще несколько примеров:

• Лексический разбор слова «фантастических» в предложении «Я насмотрелся фантастических фильмов»:

1. Фантастический фильм - измышленный фантазией и в действительности не существующий.

2. Слово «фантастический» имеет несколько значений, а именно: волшебный и причудливый; невероятный и несбыточный; не существующий и являющийся фантазией.

3. Значение - прямое.

4. Синонимами слова являются следующие: невероятный, ошеломляющий, не соответствующий реальности.

5. Имеет следующие антонимы: обычный, банальный.

7. Происхождение - заимствовано из английского языка (fantastic).

8. Данное выражение является общеупотребительным. Оно может применяться в любых стилях речи.

• Лексический разбор слова «доброте» в предложении: «По доброте душевной он отдал всю свою одежду»:

1. По доброте - душевное качество, выражающееся в заботливом и нежном отношении к кому-либо.

2. Слово «доброта» имеет только одно значение.

3. Значение - прямое.

4. Синонимами слова являются следующие: хороший, благодушный, добродушный, человеколюбивый.

5. Имеет следующие антонимы: злой, жестокий.

7. Происхождение - исконно русское.

8. Данное выражение является общеупотребительным. Оно может применяться в любых стилях речи.

9. Выражение не устаревшее. Соответственно, оно является частью активного словарного запаса современных людей.

10. Применяется в следующих фразеологизмах: по доброте душевной, слепая доброта и пр.

Страница 1 из 14

ВВЕДЕНИЕ

В последней главе я оставил вас с компилятором который должен почти работать, за исключением того, что мы все еще ограничены одно-символьными токенами. Цель этого урока состоит в том, чтобы избавиться от этого ограничения раз и навсегда. Это означает, что мы должны иметь дело с концепцией лексического анализатора (сканера).

Возможно я должен упомянуть, почему нам вообще нужен лексический анализатор... в конце концов до настоящего времени мы были способны хорошо справляться и без него даже когда мы предусмотрели много символьные токены.

Единственная причина, на самом деле, имеет отношение к ключевым словам. Это факт компьютерной жизни, что синтаксис ключевого слова имеет ту же самую форму, что и синтаксис любого другого идентификатора. Мы не можем сказать пока не получим полное слово действительно ли это ключевое слово. К примеру переменная IFILE и ключевое слово IF выглядят просто одинаковыми до тех пор, пока вы не получите третий символ. В примерах до настоящего времени мы были всегда способны принять решение, основанное на первом символе токена, но это больше невозможно когда присутствуют ключевые слова. Нам необходимо знать, что данная строка является ключевым словом до того, как мы начнем ее обрабатывать. И именно поэтому нам нужен сканер.

На последнем уроке я также пообещал, что мы могли бы предусмотреть нормальные токены без глобальных изменений того, что мы уже сделали. Я не солгал... мы можем, как вы увидите позднее. Но каждый раз, когда я намеревался встроить эти элементы в синтаксический анализатор, который мы уже построили, у меня возникали плохие чувства в отношении их. Все это слишком походило на временную меру. В конце концов я выяснил причину проблемы: я установил программу лексического анализа не объяснив вам вначале все о лексическом анализе, и какие есть альтернативы. До настоящего времени я старательно избегал давать вам много теории и, конечно, альтернативные варианты. Я обычно не воспринимаю хорошо учебники которые дают двадцать пять различных способов сделать что-то, но никаких сведений о том, какой способ лучше всего вам подходит. Я попытался избежать этой ловушки, просто показав вам один способ, который работает.

Но это важная область. Хотя лексический анализатор едва ли является наиболее захватывающей частью компилятора он часто имеет наиболее глубокое влияние на общее восприятие языка так как эта часть наиболее близка пользователю. Я придумал специфическую структуру сканера, который будет использоваться с KISS. Она соответствует восприятию, которое я хочу от этого языка. Но она может совсем не работать для языка, который придумаете вы, поэтому в этом единственном случае я чувствую, что вам важно знать ваши возможности.

Поэтому я собираюсь снова отклониться от своего обычного распорядка. На этом уроке мы заберемся гораздо глубже, чем обычно, в базовую теорию языков и грамматик. Я также буду говорить о других областях кроме компиляторов в которых лексических анализ играет важную роль. В заключение я покажу вам некоторые альтернативы для структуры лексического анализатора. Тогда и только тогда мы возвратимся к нашему синтаксическому анализатору из последней главы. Потерпите... я думаю вы найдете, что это стоит ожидания. Фактически, так как сканеры имеют множество применений вне компиляторов, вы сможете легко убедиться, что это будет наиболее полезный для вас урок.

• lex - стандартный генератор в Unix
• Flex - альтернативный вариант классической "lex" утилиты
• JLex - генератор на Java
• gplex - генератор лексических анализаторов для С#
• OOLEX - объектно-ориентированный генератор анализаторов
• alex - генератор лексических анализаторов для Haskell
• leex - генератор для Erlang

Литература

• Альфред В. Ахо , Моника С. Лам, Рави Сети, Джеффри Д. Ульман . Компиляторы: принципы, технологии и инструментарий = Compilers: Principles, Techniques, and Tools. - 2-е изд. - М .: Вильямс, 2008. - ISBN 978-5-8459-1349-4
• Робин Хантер Основные концепции компиляторов = The Essence of Compilers. - М .: «Вильямс», 2002. - С. 256. - ISBN 5-8459-0360-2

Wikimedia Foundation . 2010 .

• Краснохолмский район Тверской области
• Восточный факультет Санкт-Петербургского государственного университета

Смотреть что такое "Лексический анализ" в других словарях:

Лексический анализ - проверка правильности лексем. Лексический анализ программы выполняется при ее трансляции. См. также: Трансляторы Финансовый словарь Финам … Финансовый словарь

Лексический анализатор

Синтаксический анализ - В информатике, синтаксический анализ (парсинг) это процесс сопоставления линейной последовательности лексем (слов, токенов) языка с его формальной грамматикой. Результатом обычно является дерево разбора (синтаксическое дерево). Обычно… … Википедия

Грамматический анализ - В информатике, синтаксический анализ (парсинг) это процесс сопоставления линейной последовательности лексем (слов, токенов) языка с его формальной грамматикой. Результатом обычно является дерево разбора. Обычно применяется совместно с лексическим … Википедия

Лингвостилистический анализ художественного текста - – подробный и тщательный анализ роли и функций языковых средств разных уровней в организации и выражении идейно тематического содержания произведения. Начало формирования теоретических основ Л. а. х. т. было заложено в работе известного русского… … Стилистический энциклопедический словарь русского языка

смысловой анализ текста - 1. Изучение ключевых лексических средств и словесно художественное структурирование текста в целом. 2. Изучение языковой доминанты текста (стилистической или эстетической). 3. Поуровневое изучение текста, при котором лексический уровень является… … Словарь лингвистических терминов Т.В. Жеребило

смысловой анализ текста - 1. Изучение ключевых лексических средств и словесно художественное структурирование текста в целом. 2. Изучение языковой доминанты текста (стилистической или эстетической). 3. Поуровневое изучение текста, при котором лексический уровень… … Методы исследования и анализа текста. Словарь-справочник

Lexical scan - Лексический анализ … Краткий толковый словарь по полиграфии

Лексер - В информатике лексический анализ процесс аналитического разбора входной последовательности символов (например, такой как исходный код на одном из языков программирования) с целью получения на выходе последовательности символов, называемых… … Википедия

Лексический анализ

Лексический анализ – это процесс сканирования потока входных символов и разделения его на строки, называемые лексемами. Большинство книг по компиляторам начинаются с этого и посвящают несколько глав обсуждению различных методов построения сканеров. Такой подход имеет свое место, но, как вы уже видели, существуют множество вещей, которые вы можете сделать даже никогда не обращавшись к этому вопросу, и, фактически, сканер, который мы здесь закончим, не очень будет напоминать то, что эти тексты описывают. Причина? Теория компиляторов и, следовательно, программы следующие из нее, должны работать с большинством общих правил синтаксического анализа. Мы же не делаем этого. В реальном мире возможно определить синтаксис языка таким образом, что будет достаточно довольно простого сканера. И как всегда KISS – наш девиз.

Как правило, лексический анализатор создается как отдельная часть компилятора, так что синтаксический анализатор по существу видит только поток входных лексем. Теоретически нет необходимости отделять эту функцию от остальной части синтаксического анализатора. Имеется только один набор синтаксических уравнений, который определяет весь язык, поэтому теоретически мы могли бы написать весь анализатор в одном модуле.

Зачем необходимо разделение? Ответ имеет и теоретическую и практическую основы.

В 1956 Ноам Хомский определил «Иерархию Хомского» для грамматик. Вот они:

Тип 0. Неограниченные (например Английский язык)

Тип 1. Контекстно-зависимые

Тип 2. Контекстно-свободные

Тип 3. Регулярные.

Некоторые характеристики типичных языков программирования (особенно старых, таких как Фортран) относят их к Типу 1, но большая часть всех современных языков программирования может быть описана с использованием только двух последних типов и с ними мы и будем здесь работать.

Хорошая сторона этих двух типов в том, что существуют очень специфические пути для их анализа. Было показано, что любая регулярная грамматика может быть анализирована с использованием частной формы абстрактной машины, называемой конечным автоматом. Мы уже реализовывали конечные автоматы в некоторых их наших распознающих программ.

Аналогично грамматики Типа 2 (контекстно-свободные) всегда могут быть анализированы с использованием магазинного автомата (конечный автомат, дополненный стеком). Мы также реализовывали эти машины. Вместо реализации явного стека для выполнения работы мы положились на встроенный стек связанный с рекурсивным кодированием и это фактически является предочтительным способом для нисходящего синтаксического анализа.

Случается что в реальных, практических грамматиках части, которые квалифицируются как регулярные выражения, имеют склонность быть низкоуровневыми частями, как определение идентификатора:

::= [ | ]*

Так как требуется различные виды абстрактных машин для анализа этих двух типов грамматик, есть смысл отделить эти низкоуровневые функции в отдельный модуль, лексический анализатор, который строится на идее конечного автомата. Идея состоит в том, чтобы использовать самый простой метод синтаксического анализа, необходимый для работы.

Имеется другая, более практическая причина для отделения сканера от синтаксического анализатора. Мы хотим думать о входном исходном файле как потоке символов, которые мы обрабатываем справа налево без возвратов. На практике это невозможно. Почти каждый язык имеет некоторые ключевые слова типа IF, WHILE и END. Как я упомянул ранее, в действительности мы не можем знать является ли данная строка ключевым словом до тех пор пока мы не достигнем ее конца, что определено пробелом или другим разделителем. Так что мы должны хранить строку достаточно долго для того, чтобы выяснить имеем мы ключевое слово или нет. Это ограниченная форма перебора с возвратом.

Поэтому структура стандартного компилятора включает разбиение функций низкоуровневого и высокоуровневого синтаксического анализа. Лексический анализатор работает на символьном уровне собирая символы в строки и т.п., и передавая их синтаксическому анализатору как неделимые лексемы. Также считается нормальным позволить сканеру выполнять работу по идентификации ключевых слов.

Лексический анализ Введение В последней главе я оставил вас с компилятором который должен почти работать, за исключением того, что мы все еще ограничены односимвольными токенами. Цель этого урока состоит в том, чтобы избавиться от этого ограничения раз и навсегда. Это

Лексический анализ Лексический анализ – это процесс сканирования потока входных символов и разделения его на строки, называемые лексемами. Большинство книг по компиляторам начинаются с этого и посвящают несколько глав обсуждению различных методов построения

7.2.4. Измерения и анализ Ключевые практики раздела «Измерения и анализ» описывают основные методы измерений, необходимых для определения статуса операций, относящихся к разделу «Выполняемые действия». Являясь неотъемлемой частью группы ключевых процессов, измерения

Измерения и анализ Измерение 1. Выполнение измерений и использование их результатов для определения состояния работ по управлению конфигурацией.Примеры измерений:количество запросов на изменение, обрабатываемое за единицу времени;выполнение этапов работ по