Сжатие текста служит методологической основой для использования текстологических процедур извлечения знаний. Текстологические методы являются самыми трудоемкими и применяются, как правило, на начальном этапе создания СИИ. [c.259]
Значительное развитие получили методы извлечения знаний при применении современных информационных технологий, в частности гипертекстовой технологии. [c.259]
Усилия исследователей в области инженерии знаний направлены на создание формальных методов извлечения знаний. К их числу можно отнести метод автоматической обработки текстов на основе статистической обработки семантических единиц. Метод и программные средства автоматизированного извлечения знаний из текстов базируются на формальных процедурах обнаружения в текстах семантических единиц различной выраженности. [c.260]
Семантические единицы получаются путем статистической обработки текстов, в основе которой лежат универсальные механизмы определения частотных характеристик терминов. Задача извлечения знаний решается в два этапа сначала формируется терминологическая сеть (поле знаний), а затем определяется ассоциативная близость терминов на основе статистически определенной меры ассоциации. Достоинство рассмотренного метода состоит в автоматическом выявлении значимых слов и связей с учетом статистической информации о гипертексте в целом. [c.260]
Методы формирования знаний. Трудности извлечения знаний из текстовых источников и получения их от экспертов стимулировали развитие методов формирования знаний, известных, как методы "машинного обучения". [c.261]
Извлечение знаний с помощью нейронных сетей [c.167]
Нейронные сети выглядят предпочтительнее экспертных систем, позволяя одновременно анализировать множество в общем случае неточных и неполных параметров и не требуя при этом явной формализации правил вывода. Однако, объяснение тех или иных рекомендаций, полученных с помощью нейросетевого анализа, является требованием, которое обычно предъявляют специалисты, желающие использовать нейросетевые технологии. На первый взгляд здесь-то и находится их слабое место. Действительно, в такой области обработки информации, как извлечение знаний, нейронные сети стали применяться только относительно недавно. Это еще одна сфера, в которой доселе господствовал только традиционный искусственный интеллект. Рассмотрим ее более подробно. [c.168]
В главе, посвященной извлечению знаний, мы уже познакомились с нейросетевыми методами извлечения правил из данных. Настало время узнать, как можно извлечь с их помощью нечеткие правила. [c.210]
В главе, посвященной извлечению знаний из обученных нейронных сетей, мы познакомились с методами интерпретации отображения сетью входной информации в выходную с помощью правил типа неравенств, правил m-of-n и других. В теория нечетких множеств соответствующие нечеткие правила уже изначально имеют наглядный смысл. Например, [c.213]
На этапе выполнения осуществляется наполнение экспертом базы знаний системы. Процесс приобретения знаний разделяют на извлечение знаний из эксперта, организацию знаний, обеспечивающую эффективную работу системы, и представление знаний в виде, понятном ЭС. Эвристический характер знаний приводит к тому, что процесс их приобретения является весьма трудоемким. На данном этапе создаются один или несколько прототипов ЭС, решающих требуемые задачи. Затем по результатам этапов тестирования и опытной эксплуатации создается конечный продукт, пригодный для промышленного использования. Разработка прототипа состоит в программировании его компонентов или выборе их из имеющихся ИС и наполнении БЗн. [c.580]
Когда осознание потребности произошло, потребитель занимается поиском способов ее удовлетворения. Поиск можно определить как мотивированную активизацию знаний, хранящихся в памяти, или приобретение информации из внешней среды. Согласно этому определению поиск по своему характеру может быть либо внутренним, либо внешним. Внутренний поиск включает извлечение знаний из памяти, тогда как внешний поиск состоит в сборе информации на рынке. [c.177]
А между тем существуют инструменты, предназначенные специально для обработки таких объемов информации от развитого контекстного поиска до извлечения знаний из баз данных различных форматов. [c.125]
Подсистема интеллектуального анализа данных (извлечения знаний) [c.314]
Методы извлечения знаний и области их применения в экономике [c.14]
Исследовательский анализ и извлечение знаний [c.20]
Исследовательский анализ и извлечение знаний могут быть использованы для обнаружения скрытых знаний, что представляет собой целый интерактивный процесс выявления в данных неизвестных ранее паттернов или структур. Значения понятий исследовательский анализ данных , извлечение знаний и обнаружение знаний часто путаются. На первой международной конференции по обнаружению знаний в Монреале в 1995 г. было предложено применять термин обнаружение знаний для описания всего процесса извлечения знаний из данных . В этом контексте под знаниями понимаются взаимосвязи между элементами данных и паттерны в наборах данных. В дальнейшем было предложено, чтобы термин извлечение знаний использовался исключительно для обозначения той стадии процесса, на которой происходит обнаружение как таковое. [c.20]
В этой книге мы, в первую очередь, будем использовать подход, основанный на СОК, для поиска образов в больших наборах данных. Главной причиной использования СОК для исследовательского анализа данных и извлечения знаний является то, что данный метод [c.20]
Управление объектами > Коллективная разработка Извлечение знаний из БД [c.9]
Извлечение знаний из различных источников производится в целях получения наиболее полного представления о предметной области. Для этого используются специальные методы анализ текстов, диалог, интервью, лекции и др. [c.105]
Условно можно выделить три основные проектные процедуры приобретение, формирование и извлечение знаний [12]. [c.114]
Сведения о банковской истории клиента можно назвать одним из самых ценных активов банка. Каждая финансовая операция хранится в базе данных, и теперь задачей банка становится разработка систем, позволяющих оптимальным образом использовать эти первичные данные для извлечения знаний. Первоначально выстроив свою инфраструктуру вокруг вертикальных, узкоспециализированных приложений, банк теперь намеревается проанализировать горизонтальный срез своей деятельности, проходящий через границы всех его подразделений, чтобы лучше понять поведение своих клиентов как комплексных потребителей разных видов банковских услуг. На объединение всей разносторонней информации о клиентах банку Brades o придется потратить несколько лет, зато у него появится возможность оперативно разрабатывать и развертывать услуги, еще в большей степени учитывающие потребности клиентов. [c.159]
Индукция утверждает, что наука отталкивается от наблюдения и что наблюдение обеспечивает надежную базу для извлечения знания. На практике, однако, требуется некая теоретическая основа для того, чтобы знать, что наблюдать, и выработать подходящую схему для проведения наблюдений. Эта проблема нашла отражение у Чалмерса [c.76]
Рассматривая методы приобретения знаний, будем использовать следующие термины извлечение, получение, формирование, приобретение знаний и обучение БЗ. Определим сущность указанных терминов. Под извлечением знаний будем понимать процесс приобретения материализованных знаний из текстологических источников информации с помощью некоторой совокупности методов и процедур, позволяющих переходить от знаний в текстовой форме к их аналогам для ввода в базу знаний СИИ. Получение знаний - это процесс приобретения вербализуемых и невербализуемых знаний эксперта, основанный на использовании непосредственно им самим или инженером по знаниям приемов, процедур, методов и инструментальных средств. [c.258]
Указанные новые подходы к автоматизации извлечения знаний пока находятся на стадии исследований и не нашли применения в практике создания СИИ. Однако результаты исследований позволяют надеяться на создание >ффективных методов и СИИ, позволяющих снизить трудозатраты при извлечении знаний на начальном этапе синтеза баз знаний СИИ. [c.260]
С7 Уже упоминавшаяся ранее группа НейроКомп из Красноярска довольно уверенно предсказывает результаты президентских выборов в США на основании анкеты из 12 вопросов. Причем, анализ обученной нейросети позволил выявить пять ключевых вопросов, ответы на которых формируют два главных фактора, определяющих успех президентской кампании. Этот пример будет рассмотрен более подробно в главе, посвященной извлечению знаний с помощью нейросетей. [c.41]
Хотя молекулярная генетика представляет собой достаточно специфическую область применения методов обработки информации она часто рассматривается как показательный пример приложений такой информационной технологии, как Извлечение Знаний из Данных (Data Mining). Применение для этих целей нейросетевых методов мы рассмотрим более подробно в отдельной главе. [c.104]
До сих пор нейросети рассматривались нами лишь как инструмент предсказания, но не понимания. Действительно, классический нейросетевой подход - метод черного ящика -предполагает создание имитационной модели, без явной формулировки правил принятия решений нейросетью. Вернее, эти правила содержатся в весах обученной нейросети но понять их, переформулировав на язык "если. .. -то. .." не представлялось возможным. Бэтой главе мы продемонстрируем методику, позволяющую строить подобные правила, объясняющие нейросетевые решения. Нейросети, таким образом, можно использовать не только для предсказаний, но и для извлечения знаний из баз данных. [c.167]
Главными требованиями, предъявляемыми к методам извлечения знаний, являются эффективность и масштабируемость. Работа с очень большими базами данных требует эффективности алгоритмов, а неточность и, зачастую, неполнота данных порождают дополнительные проблемы для извлечения знаний. Нейронные сети имеют здесь неоспоримое преимущество, поскольку именно они являются наиболее эффективным средством работы с зашумленными данными. Действительно, заполнение пропусков в базах данных - одна из прототипических задач, решаемых нейросетями. Однако, главной претензией к нейронным сетям всегда было отсутствие объяснения. Демонстрация того, что нейронные сети [c.168]
Извлечение правил из нейронных сетей подразумевает их предварительное обучение. Поскольку эта процедура требует много времени для больших баз данных, то естественна та критика, которой подвергается использование нейротехнологии для извлечения знаний. Другим поводом для такой критики является трудность инкорпорации в нейронные сети некоторых имеющихся априорных знаний. Тем не менее, главным является артикуляция правил на основе анализа структуры нейронной сети. Если эта задача решается, то низкая ошибка классификации и робастность нейронных сетей дают им преимущества перед другими методами извлечения знаний. [c.169]
Рассматривая извлечение знаний из обученных нейронных сетей мы уже показали, что представление о них, как о черных ящиках, не способных объяснить полученное решение (это представление иногда рассматривается как аргумент в пользу преимущества экспертных систем перед нейросетями), неверно. В то же время, очевидно, что как и в случае мозга, в котором левое и правое полушарие действуют сообща, естественно и объединение экспертных систем с искусственными нейронными сетями. Подобные синтетические системы могут быть названы нейронными экспертными системами - этот термин использовал Иржи Шима, указавший на необходимость интеграции достоинств обоих типов систем. Такая интеграция может осуществляться двояким образом. Если известна только часть правил, то можно либо инициализировать веса нейронной сети исходя из явных правил, либо инкорпорировать правила в уже обученные нейронные сети. Шима предложил использовать и чисто коннекционистский методику построения нейронных эксперных систем, которая обладает таким достоинством, как возможность работы с неполными данными (ситуация типичная для реальных баз данных). Такой возможностью обладают введенные им сети интервальных нейронов. [c.206]
Наиболее ответственным моментом в интеллектуальных системах будущего является развитие системы обнаружения знаний и прогнозирования действия системы. Для этого предполагается развитие автоматического извлечения знаний из текстов, руководств, инструкций, схем, а не только из знаний экспертов по данной предметной области. Кроме того, осуществляется моделирование условий действия искусственной системы, аналогичных условиям, в которых приходится жить человеку, т.е. имеется в виду автоматическое обеспечение работы с He-факторами (неопределенность, неполнота, неточность). Намечается максимальное использование многоагент-ных (распределенных) систем. Большое значение уделяется объему эвристических знаний в базе знаний (до десятков тысяч правил). Обращается внимание на внедрение методов логики рассуждений, обычно используемых человеком дедукции, индукции, немонотонного рассуждения, близости ситуации в пространстве и времени, а также рассуждений по аналогии. [c.143]
Обнаружение знаний в базах данных (Knowledge Dis overy in Databases, KDD) - это последовательность действий, которую необходимо выполнить для построения модели (извлечения знания). Эта последовательность не описывает конкретный алгоритм или математический аппарат, не зависит от предметной области. Это набор атомарных операций, комбинируя которые, можно получить нужное решение. [c.10]
Подведем итоги. Представляется, что мы эскизно, крупными мазками, очертили путь лингвистической классификации исходных данных, которые рассматриваются в модели как квазистатистика. Задача, поставленная и решенная здесь, является центральной в теории data mining, т.е. в ходе получения знаний на основе данных, извлечения знаний из данных. Такой подход - это самое эффективное, что можно предпринять в борьбе с неопределенностью при идентификации состояния бизнес-систем по их наблюдаемым параметрам. [c.20]
В работе Кохонена основное внимание уделено методологии упомянутых нейронных сетей. В настоящей же книге мы обсудим исследовательский анализ данных и процесс извлечения знаний, а также дадим обзор традиционных методов кластеризации и визуального представления данных. Затем мы опишем самоорганизующиеся карты и их преимущества при использовании в финансах, экономике и маркетинге. Книга иллюстрирует использование СОК в целях [c.19]
Основной процесс исследовательского анализа данных и извлечения знаний состоит из множества шагов, начиная с формулировки целей и заканчивая оценкой результатов. Он может включать в себя петлю обратной связи, что означает переформулирование целей на основе полученных результатов. В зависимости от целей этого процесса можно использовать какой-либо тип алгоритмов распознавания образов, машинное обучение или многомерный статистический анализ. Ключевым моментом в извлечении данных является обнаружение первоначально неизвестных структур или образов. [c.20]
Изложены теоретические основы гипертекстовой информационной технологии, предложен ее автоматизированный вариант, рассмотрена процедура построения семантических моделей коллективом проектировщиков. На основе применения текстологических методов извлечения знаний разработаны и исследованы формализованные макропредставления различных экономических систем. [c.2]