+7 (8442) 795242. Профиль деятельности.
SiteSputnik. Закон аддитивности и его
нарушение в основных поисковиках. |
Назначение программы SiteSputnik: автоматизация поиска, сбора и мониторинга информации.
Перейти на главную страницу сайта о программе можно по ссылке - программа Сайт Спутник.
Основные понятия, терминология и сокращения.ОП - основные поисковики.
В настоящей публикации к основным поисковикам отнесены Яндекс, Google и Yahoo.
Закон аддитивности.
Под законом аддитивности при поиске в интернете понимается следующее.
Допустим, Вы составили n запросов к поисковику: A1, A2, ..., An.
По логике вещей, результат выполнения одного запроса: A1 | A2 | ... | An, где вертикальная черта означает логическое "ИЛИ", должен быть равен объединению результатов выполнения отдельно выполненных запросов A1, A2, ..., An.
На практике для ОП этого не происходит. Даже для простейших запросов и минимальных значений n закон аддитивности нарушается.
Цель.Основная цель настоящей публикации - предложение пользователю инструмента, при помощи которого он полнее, быстрее и надежнее осуществит сбор информации в интернете для запросов вида: A1 | A2 | ... | An. В частности, во второй части данной публикации приведен пример пакета запросов и пример пакета запросов с параметрами.
Эксперимент.Докажем нарушение закона аддитивности экспериментально. Эксперимент проведем при помощи программы SiteSputnik. Вы можете повторить его прямо в Яндексе, Google и Yahoo, не используя данную программу.
Возьмем следующие четыре запроса:
A1. "(8442)795242"
A2. "(8442)79-52-42"
A3. "ресурс" "sitesputnik.ru"
A4. ООО "СИЛАН-34"
Они содержат два варианта записи рабочего телефона, имя интернет-ресурса и наименование предприятия, к которым автор этой публикации имеет прямое отношение.
Варианты выполнения поиска в Яндексе:
Пояснения.
1-ая колонка содержит результат выполнения в Яндексе одного запроса: A1 | A2 | A3 | A4,
а именно: "(8442)795242" | "(8442)79-52-42" | "ресурс" "sitesputnik.ru" | ООО "СИЛАН-34"2-ая колонка содержит объединение результатов четырех отдельно выполненных запросов: A1, A2, A3 и A4.
В ней дополнительно присутствуют ссылки на домены: forumsostav.ru, computerra.ru, it2b-forum.ru, livejournal.com.3-ая колонка содержит объединение результатов выполнения запросов из 1-ой и 2-ой колонок. Ни одна из колонок не содержит двух одинаковых ссылок.
Выводы.
Содержание 1-ых двух колонок говорит о нарушении закона аддитивности для Яндекса. Применение в Яндексе оператора логическое "ИЛИ" может привести к потере значимой информации. Содержание 3-ей колонки говорит о том, что для более полного сбора информации, имеющейся в Яндексе,
рационально отдельно выполнить, а затем объединить результаты пяти запросов:
• A1 | A2 | A3 | A4
• A1
• A2
• A3
• A4Это частный пример, но подобная ситуация не редко возникает для запросов, содержащих логическое "ИЛИ".
Особенно нарушение закона аддитивности "чувствительно", когда Вы ищете офисные документы.
Сравните результаты выполнения в Google двух запросов:
• site:it2b.ru filetype:pdf (найдено 96 документов) и
• site:it2b.ru filetype:pdf | filetype:xls | filetype:doc | filetype:ppt (только 19 документов)
Выполнение поиска в Google и Yahoo.
Выполнение описанных выше действий в Google и Yahoo приносит аналогичные результаты.
Замечание для специалистов.
Применение при поиске в Яндексе параметра &rd=0, в Google параметра &filter=0, а в Yahoo параметра &dups=1 не изменяет суть полученных результатов.
Быстрее, полнее, надежнее.В программе SiteSputnik имеются пакеты запросов и пакеты с параметрами. Их можно применять для того, чтобы автоматически получать результаты, приведенные в 3-ей колонке.
Составим следующий пакет:
Здесь Метапоиск=100 означает выполнение поиска в Яндексе, Google, Yahoo, MSN (Live Search, Bing), блогах Яндекса и Google на глубину до 100 поисковых страниц для каждого поисковика.
Результат выполнения пакета:
Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.
Ваши предложения по развитию программы можно обсудить с автором.
Пишите по этому электронному адресу.
Скачать программу можно здесь.