Site Sputnik. запросы, пакеты запросов, связи объектов |
Назначение программы SiteSputnik: автоматизация поиска, сбора и мониторинга информации.и с публикацией О допросе интернета от 19.02.2022 года.
Перейти на главную страницу сайта о программе можно по ссылке - программа Сайт Спутник.
Данная публикация вышла в 2008 году,
рекомендуется ознакомиться с новыми видеоматериалами от 2021г.
УП - условие поиска. Так будем называть запрос на языке запросов Яндекса или другого поисковика.
Пакет условий поиска - несколько совместно выполняемых УП (запросов). Каждое УП может быть написано на языке запросов конкретного поисковика и выполнено на этом и только на этом поисковике. Результат выполнения пакета не содержит дублирования ссылок, найденных разными УП.
АО - аналитическое объединение.
Рассмотрим применение SiteSputnik''а на примере следующей задачи.
Предположим, что Вам по электронной почте пришло письмо, единственной информацией об отправителе которого является электронный адрес ab@vlink.ru. Вы хотите по этому электронному адресу узнать об отправителе как можно больше, причем всю собранную информацию упорядочить в порядке ее значимости. Более того, не той значимости (релевантности) которую предлагают поисковики, а реальной.
В процессе решения этой задачи будут также даны пояснения к другой важной функции SiteSputnik''a - "вычисление" семантических связей объектов, проще говоря, нахождение страниц, на которых пересекаются (упоминаются) искомые объекты: люди, фирмы, другие одушевленные или неодушевленные предметы.
Важно.
Целью решения данной задачи является ознакомление с возможностями программы СайтСпутник и не более того. Данная инструкция не является методическим пособием по профессиональному поиску в интернете и особенностям языков запросов поисковиков.
1. Нажимаем на "Золотой ключик" (обведен зеленой окружностью).
2. На появившейся картинке Простое УП вводим электронный адрес "ab@vlink.ru", взятый в кавычки.
3. Нажимаем на кнопку "Поиск" (обведена желтой окружностью) и дожидаемся окончания поиска.
Пояснения.
В данном случае мы применили метапоиск - поиск одновременно на нескольких поисковиках. Никакого спама не будет. Это обеспечивается простым и конкретным синтаксисом УП. Применение метапоиска в таких случаях целесообразно - мы за одну попытку (а не 26 попыток, смотрите на рисунке ниже цифру в сером кружочке) собрали 230 ссылок (цифра в синем кружочке), открыв 26 страниц на 5 поисковиках, и автоматически получили только уникальные ссылки без повторов. Уникальных ссылок оказалось 165 (цифра в красном кружочке). Подобную статистику SiteSputnik рассчитывает для любых УП (запросов) и оформляет ее в виде отдельной таблицы, представленной на картинке Статистика.
Важно.
Из 165 (цифра в красном кружочке) уникальных ссылок Яндекс собрал 66 (цифра в зеленом кружочке), что составляет 40% от количества уникальных ссылок и 27% от всего количества найденных ссылок. Другие поисковики, в общем случае, показывают примерно такие же результаты. Рамблер для данного примера собрал только 2% ссылок. Обычно он "срабатывает" наравне с другими поисковиками. Yahoo собрал 49% - в среднем, эта цифра меньше. То есть, применить один поисковик - собрать не всю информацию. Подобную картину автор этих строк наблюдает уже более 3-х лет по несколько раз в день в процессе отладки программы SiteSputnik и ее применении в другом своем бизнесе. Всего за это время было выполнено почти 4000 УП (запросов). Подробнее смотрите в новой публикации "SiteSputnik. Сравнительный анализ поисковиков".
Результат поиска оформляется в виде однородного списка, несодержащего картинок и других "вкраплений". Этот список назовем Простое объединение. Его часть представлена на приведенной ниже картинке.
Выводы.
В данном случае SiteSputnik повышает производительность труда, качественно, быстро и удобно собирает все ссылки, на которых упоминается искомый электронный адрес, убирает повторы. На выполнение всех этих работ Вы затратите всего 1-2 минуты.
Теперь можно выбрать несколько интересных ссылок и открыть их (этот механизм описан в здесь), но мы не будем отвлекаться от поиска, внимательно просмотрим Простое объединение и на основе увиденного составим пакет УП для нахождения ссылок, связанных с владельцем почтового адреса ab@vlink.ru. В этот пакет включим: "Мыльников Алексей Борисович", "Alexey Mylnikov", "Alexei Mylnikov", FileForFiles, SiteSputnik (СайтСпутник), IEMarker, FragmentsFromFiles.
Пакет запросов составляется следующим образом.
1. Нажимаем на "Золотой ключик". Получаем картинку, названную выше как Простое УП.
2. Нажимаем на ней на кнопку "Пакет". На картинке она обведена синим эллипсом
3. Получаем картинку, названную ниже как Пакет УП.
4. В верхнем окне картинки вводим наименование пакета - "Владелец ab@vlink.ru".
5. В нижнем окне вводим текст пакета (рекомендую ознакомиться с новой формой пакета, представленной сразу вслед за старой формой).
Замечание от 22.11.10.
Дополнительно появившаяся новая табличная форма данного пакета будет иметь следующий вид:
Пояснения.
1. Каждая строка пакета - отдельное УП (запрос).
2. Для того, чтобы УП (запросу) прописать выполнение на конкретном поисковике, находясь в его строке, нажимаем на кнопку "||" (на картинке эта кнопка обведена черной окружностью), и выбираем в открывшемся меню требуемый поисковик (черная галочка).
3. После составления пакета, нажимаем на кнопку "Раздельно" (обведена зеленым эллипсом). Это приведет к тому, что каждое УП будет выполняться самостоятельно. Это позволит нам выполнить важный шаг 3 - сделать аналитическое объединение по всем УП. Если Вы нажмете на кнопку "Совместно", то получите объединение множества ссылок без повторов, найденных всеми УП.
4. И так, нажав кнопку "Раздельно", дожидаемся окончания выполнения пакета.
Важно.
Получив новую информацию о владельце искомого электронного адреса, Вы можете продолжить поиск, ставя на выполнение простые УП как в шаге 1 или пакеты УП как в шаге 2. Это действие Вы можете выполнять любое количество раз.
Выводы.
Пакет позволяет выполнить сразу любое количество УП (запросов) с объединением или разделением результатов поиска. Причем каждому УП можно прописать выполнение на конкретном поисковике или выполнить его, используя метапоиск. Это функция не имеет аналогов в отечественных и зарубежных разработках. Она позволяет и полно, и точно собрать информацию об исследуемом объекте.
О комментариях в пакете.
В пакете символы ^^ означают, что стоящий правее текст в текущей строке являются комментарием. Следовательно, если Вы хотите оставить какой-то запрос в пакете, но не желаете его выполнять в данный момент, то поставьте прямо перед этим запросом символы ^^.
Еще примеры пакетов.
Еще картинки с примерами пакетов приведены здесь, здесь и здесь.
Обсуждение пакетов и пакетов с параметрами для продвинутых пользователей программы СайтСпутник происходит на форуме СКПР. Несколько ссылок на пакеты и ассемблеры можно найти здесь.
Замечание от 19.10.09Список литературы.
В версии 5.5.4.1 появился оператор ^^АО;. Если Вы введете его в конце текста пакета Пакет УП и нажмете кнопку "Раздельно", то все действия, описанные в данном шаге, выполнятся автоматически. Тем не менее, рекомендуется прочитать то, что написано ниже: существуют задачи, в которых рационально выполнить операцию "Аналитическое объединение" руками, и, что более важно, - для понимания смысловой нагрузки данной операции.
Вы можете предварительно ознакомиться с полевыми испытаниями SiteSputnik''а, проведенными Евгением Ющуком и посвященными в основном АО, или продолжить чтение данной инструкции и ознакомиться с пояснениями о том, как SiteSputnik упорядочивает собранные ссылки в порядке их реальной значимости по отношению к решаемой задаче и вычисляет страницы, на которых пересекаются (упоминаются) искомые объекты. Принципиальная идея АО принадлежит Дмитрию Борисовичу "MOS".
1. В колонке "Обновить" двойным щелчком мышки устанавливаем значение "Да" для тех УП, над которыми следует сделать АО. Для нашего случая на картинке АО – группа УП синим эллипсом обведены ячейки колонки "Обновить", которым мы присвоили значение "Да".
2. Выполняем само АО, выбрав как показано на картинке АО - выбор действия пункт "Аналитическое объединение" (см. синюю галочку).
-->
3. Дожидаемся окончания процесса выполнения АО и получаем результаты, представленные на приведенных ниже пяти картинках.
Пояснения.
1. На последней картинке АО - объединение всё в том же однородном виде собраны все ссылки из задействованных в АО УП (запросов), причем ссылки упорядочены в порядке их значимости, точнее в порядке количества УП (см. красные галочки), которыми они были найдены, а это с большой вероятностью и является отражением значимости ссылки. В нашем примере наверх всплыла (оказалась самой значимой) ссылка http://ab.vlink.ru/. Это сайт автора этих строк, на котором наиболее подробно и чаще всего упоминаются все восемь искомых объектов. Второе и третье место поделила ссылка http://someone-mos.livejournal.com/. Это обзор "Швейцарский ножик Алексея Мыльникова", сделанный Дмитрием Борисовичем "MOS". В нем как раз подробно описаны не одна-две программы (искомые объекты), а все программы. То есть СайтСпутник при помощи АО в данном случае не только нашел все ссылки, связанные с решаемой задачей по сбору информации о владельце электронного адреса ab@vlink.ru, но и упорядочил эти ссылки в порядке их реальной значимости (релевантности).
2. Практически нет зависимости от того, насколько высоко искомая информация продвинута в поисковиках. Важнее каким количеством запросов эта информация была найдена. Наиболее значимая информация при применении АО поднимется вверх.
3. Следует учесть, что SiteSputnik не гарантирует в абсолютно всех случаях упорядочивание ссылок в порядке их реальной значимости. Многое зависит и от самого пользователя. Но если он грамотно описал проблемную область посредством группы УП (запросов) и выполнил описанные в этой инструкции шаги, то СайтСпутник упорядочит ссылки в порядке, близком к их реальной значимостью. Это еще одна неимеющая аналогов в отечественных и зарубежных разработках функция программы SiteSputnik.
4. Все функциональные возможности SiteSputnik(a) описаны здесь.
Картинка АО - ссылки - по сути это сокращенный (без сниппетов), более наглядный вариант только что описанной картинки.
Картинка АО - домены показывает на каких доменах упоминаются УП (искомые объекты).
Картинка АО - матрица показывает количество ссылок, на которых пересекается каждая пара УП (искомых объектов).
Картинки АО - ресурсы и АО - папки отсутствуют. Начиная с версии 4.2.5 от 27.10.2008г., СайтСпутник вычисляет также пересечение искомых объектов на ресурсах (площадках) и в папках.
Картинка АО - веб-карта тоже отсутствует. Начиная с версии 5.2.1 от 25.02.2009г., СайтСпутник умеет строить веб-карту по результатам поиска. Подробнее смотрите отдельную публикацию о построение веб-карты сайта, ресурса и искомого объекта.
Важно.
1. Любое АО может являться членом группы УП, то есть участвовать в качестве одного из объектов, над которыми выполняется АО. Такая рекурсия может быть сделана на любую глубину.
2. Программа SiteSputnik - это инструмент, а это означает, что для получения качественного результата, его необходимо уметь применить. Он отсылает запросы на конкретные поисковики, и знание их языков запросов и особенностей работы остается актуальным. Хотя в некоторых случаях, СайтСпутник может помочь начинающему пользователю - за счет переработки большего объема информации можно получить качественный результат (переход количества в качество), но гарантии получения такого результата без соответствующей профессиональной подготовки нет.
Очень важно.
Рассмотрим приведенный пример с точки зрения нахождения семантических связей объектов. В нашем примере исследуются восемь объектов. В общем случае вместо объекта "ab@vlink.ru" или другого объекта из примера может быть любой объект: ФИО, название фирмы, наименование товара, номер телефоны и т.п. Еще раз обращаю Ваше внимание - аналитическое объединение тоже может быть объектом! Из картинки АО – объединение (АО – ссылки) видно, что на первой странице присутствуют (пересекаются) шесть объектов, на второй и третьей - пять объектов, на четвертой-седьмой - четыре объекта, ... на девяностой присутствует только один объект №2628, ... на сотой - только один объект №2630, ... , и т.д. С точки зрения математика, СайтСпутник построил пересечение и отрицание для объектов, с точки зрения аналитика - связи объектов или их отсутствие. Картинка АО – матрица, в частности, показывает что для объекта №2632-"Alexei Mylnikov" вообще нет пересечения ни с одним объектом. Из этого можно сделать вывод, что на момент проведения исследования этот объект не имеет отношения к исследуемой теме (и это действительно так - буквально только за неделю до исследования вместо имени Alexey я стал использовать Alexei).
Выводы.
1. SiteSputnik позволяет упорядочить связанные с решаемой задачей ссылки в порядке близком со значимостью этих ссылок.
2. Вычисляет связи объектов посредством нахождения ссылок, ресурсов и доменов, на которых они пересекаются (присутствуют).
Замечание от 27.01.09.
Все, о чем сообщается в настоящей публикации, справедливо не только для основных поисковиков: Яндекса, Google, Рамблера, Yahoo, MSN, Mail и Апорта, но и для подключенных с помощью Мастера новых поисковиков и встроенных средств поиска по сайтам.
Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.
Ваши предложения по развитию программы можно обсудить с автором.
Пишите по этому электронному адресу.
Скачать программу можно здесь.