ОП - основные поисковики, а именно: Яндекс, Google, Yahoo, Рамблер, Bing (MSN), Mail, Яндекс.Блоги, Гугль.Блоги.
Метапоиск - это поиск сразу на всех ОП.
ЯЗ - язык запросов поисковика.
Ссылка - веб-страница любого формата, размещенная в интернете, точнее ее адрес (URL).
Замечание от 27.01.09.
Все, о чем говорится в настоящей публикации, справедливо не только для ОП, но и для подключенных с помощью Мастера новых поисковиков и встроенных в сайты поисков.
Цель.
Целесообразность применения нескольких поисковиков при поиске и сборе информации рассматривалась в публикации "SiteSputnik. Сравнительный анализ поисковиков."
Цитата из этой публикации (если ее смысл окажется сложным для восприятия, то перейдите к чтению следующего абзаца): "Процедурный поиск позволяет на 100% использовать алгоритмическую мощность языков запросов каждого поисковика, при этом обеспечивает возможность выполнения запроса, написанного на языке запросов конкретного поисковика, на том и только на том поисковике, на языке которого он написан. Объединенные в пакет несколько таких запросов позволяют максимально полно и точно "запрограммировать" и выполнить задачу поиска и сбора информации по искомому объекту. Повторно найденные ссылки удаляются."
Целью настоящей публикации является разъяснение смысла этой цитаты, а именно: что понимается под процедурным поиском, что такое запрограммировать поисковую задачу, что в СайтСпутник`е имеется ввиду под полным и точным поиском.
Процедурный поиск.
Предположим, что нам требуется собрать информацию в интернете на тему минимизации налогообложения по налогу на добавленную стоимость (НДС), причем нас интересуют только легальные схемы. Сформируем несколько запросов и применим все семь ОП для решения этой задачи.
Пакет запросов.^^Пакет сбора легальных схем минимизации налогооблажения по НДС. Автор Алексей Мыльников.
Условные обозначения.- "схемы оптимизации НДС" +легальные || Метапоиск=30
- "схемы минимизации НДС" +легальные || Метапоиск=30
- "схемы снижения НДС" +легальные || Метапоиск=30
- +"как вернуть НДС" +легальные || Mетапоиск=30
- "способы вернуть НДС" +легальные || Метапоиск=30
- (схемы | методы | способы) /2 (оптимизации | минимизации) /3 налогов +НДС ~~(черные | серые) || Yandex=60
- (схемы | методы | способы) &<<(оптимизации OR минимизации) &< налогов +НДС NOT(черные | серые)|| Rambler=40
- схемы | методы | способы * оптимизации | минимизации ** налогов +НДС -черные -серые || Google=60
- схемы OR методы OR способы оптимизации OR минимизации налогов +НДС -черные -серые || Yahoo=60
- (схемы | методы | способы) (оптимизации | минимизации) налогов +НДС -(черные | серые) || MSN=60
- оптимизация /+1 налогооблажения /3 добавленная /+1 стоимость || Yandex=40
- +"оптимизации налогооблажения" ** добавленная * стоимость || Google=40
- "вернуть НДС" /2 (вычеты | компенсации | возмещение) || Yandex=50
- "вернуть НДС" * вычеты | компенсации | возмещение || Google=50
- "вернуть НДС" && (вычеты | компенсации | возмещение) && легальные || Yandex=40
- "вернуть НДС" вычеты | компенсации | возмещение легальные || Google=40
- "вернуть НДС" (вычеты | компенсации | возмещение) легальные || MSN=50
1. Знаками || отделяется текст запроса от поисковика, на котором целесообразно его выполнять, после знака = указана глубина поиска в количестве страниц.
2. Знаки ^^ означают, что правее них расположен комментарий.
3. Нумерация строк не является частью тела пакета. Она сделана для удобства и применяется в приводимых ниже пояснениях.
Замечания.
1. Данные запросы являются демонстрационными и не претендуют на профессиональные как с точки зрения предметной области, к которой они относятся, так и с точки зрения использования ЯЗ.
2. Приведена только часть запросов на данную тему. Ограничений на количество запросов нет.
Важно.
При помощи пакета все эти запросы можно выполнить совместно и получить результирующий список ссылок без повторов. Можно выполнить запросы раздельно, а затем при помощи "Аналитического объединения" объединить и получить аналогичный список и дополнительную аналитическую информацию. Последовательность работы с пакетом описана здесь.
Пояснения.
1. Первые пять запросов - это поиск документов, содержащих точные фразы. Все они отправлены на семь поисковиков. Эти запросы сформированы в данном примере для того, чтобы показать как в СайтСпутник`е можно "запрограммировать" логическое "ИЛИ". Всего здесь задано 35 логических "ИЛИ", а именно, пять запросов, в каждом из которых использованы по семь поисковиков. В результирующем списке все повторы ссылок будут удалены.
2. Запрос под номером 6 написан на ЯЗ Яндекса. Конструкция ~~(черные | серые), означает, что документы, содержащие словоформы от слов "черные" или "серые", не удовлетворяют запросу. Она не будет "понята" верно ни на одном поисковике, поэтому выглядит по-другому в запросах 7, 8, 9 и 10, написанных соответственно на ЯЗ Рамблера, Google, Yahoo и MSN. Также эти запросы отличаются способом указания расстояния между словами и возможностью применения скобок.
3. Остальные запросы также написаны на разных ЯЗ. Они могут быть любой сложности.
Вы можете прямо из читаемого в данный момент текста скопировать все 17 запросов и выполнить их в пакетном поиске программы SiteSputnik. Вот начало и окончание списка ссылок, собранных в результате такого действия.
Дата выполнения пакета - 13.11.08г.Замечание.
В данном случае SiteSputnik работает исключительно с поисковиками. Поэтому точность поиска зависит от того, насколько точно Вы сформировали запросы.
Почему такие названия?
Для процедурных языков программирования, к которым относится, например, хорошо известный Pascal, характерно то, что задача в них кодируется оператор за оператором, строка за строкой. По аналогии, рассмотренный способ сбора информации в SiteSputnik`e назван процедурным поиском.
Термин запрограммировать поисковую задачу происходит из этих же соображений.
Полным поиск называется потому, что можно сформировать достаточное количество запросов на нескольких поисковиках.
Под точным поиском понимается то, что каждый конкретный запрос можно написать на конкретном ЯЗ и выполнить его на том и только на том поисковике, на языке запросов которого он написан.
Важно.
Если в процессе поиска будет обнаружено, что для сбора информации требуется выполнение еще нескольких запросов, то это может быть сделано в любое время. Полученные результаты можно объединить с результатами предыдущего поиска. Новые ссылки можно выделить в отдельный список. Под новыми понимаются не все найденные в новом запросе ссылки, а только те из них, которые не содержатся в результате предыдущего поиска.
Практический пример.
В публикации Дмитрия "МОS", с которым автор этих строк постоянно обсуждает проблемы поиска информации на форуме и в частной переписке, приведен такой пример. Возьму только его одну четвертую часть, а именно, первый пакет.
На этом примере хорошо "проиллюстрированы" понятия процедурного поиска, программирования поисковой задачи, полного и точного поиска. Есть комментарии, пропуски строк и пробелы для наглядности, сформированы сложные операторы. Исходный текст такой программы сохраняется в файле, который можно отредактировать и выполнить повторно. Также как и в предыдущем случае, Вы можете прямо из читаемого в данный момент текста, скопировать эту программу и выполнить ее в SiteSputnik`е в режиме пакетного поиска.
Об уникальности.
Рассмотренный в данной публикации поисковый инструмент не имеет аналогов в отечественных и зарубежных разработках.
Список литературы.
Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.
О сотрудничестве.
Ваши предложения по развитию программы можно обсудить с автором.
Пишите по этому электронному адресу.
Скачать программу можно здесь.