SiteSputnik. Что дает эта программа,
SiteSputnik. зачем мне это нужно?
Автор
Алексей Мыльников
Дата выхода публикации - 09.02.10г.     
Последнее изменение - 12.09.11г.     



Основные понятия и терминология.
Основные поисковики. К ним отнесем Яндекс, Google, Yahoo, Bing (MSN, Live Search), Рамблер, Апорт, Mail, а также поиск в блогах Яндекса и Google. Работа с ними встроена в программу.

Подключенные поисковики - это те поисковики и встроенные в сайты поиски: Поиск, Найти, Пошук, Search, Find, ..., которые можно подключить и использовать в программе SiteSputnik. В настоящее время можно подключить RSS-потоки и произвольные страницы сайтов.

Основные и подключенные поисковики, RSS-потоки, другие подключенные страницы будем называть поисковиками или источниками информации.


Цель, назначение.
На читаемой Вами странице отдельно рассмотрены только уникальные возможности программы SiteSputnik (СайтСпутник), поясняется: что дает эта программа, зачем она нужна, для каких задач ее применение наиболее эффективно и даже незаменимо.

1. Найти всё и с гарантией.
Предположим, что Вы подготавливаете аналитический отчет, справку о партнере, научную работу, доклад, реферат, ищете оптимального поставщика или собираете информацию для решения другой задачи. Одним из источников актуальной информации для Вас может и должен послужить интернет. В этом случае, можно воспользоваться программой SiteSputnik, которая постоянно совершенствуется в направлении: "Мне нужно найти все и с гарантией".

Спросив у интернета при помощи программы SiteSputnik, Вы можете быть уверены, что собрали всю информацию из открытых источников или искомой информации на момент поиска в них не было.

Но спросить у интернета нужно уметь. Под умением спросить (составить, как правило, несколько запросов, а иногда и несколько десятков запросов с использованием нескольких источников информации) понимается целенаправленное, совместное применение следующих поисковых инструментов.
  1. Метапоиск.
    Это не самая главная, неуникальная, но полезная и необходимая поисковая функция, например, при поиске по точной фразе. Метапоиск - это выполнение конкретного запроса одновременно на нескольких поисковиках на заданную "глубину" поиска для каждого из них. В программе SiteSputnik работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. При формировании выдачи повторно найденные ссылки удаляются.
    Частные варианты метапоиска: по сайту, только офисных документов, сбор кеш-копий ссылок, хранящихся в базе данных основных поисковиков, - аналогов не имеют.

    Увидеть как в программе SiteSputnik выполняется метапоиск по точной фразе "Мыльников Алексей Борисович", вы можете на этом ролике. Время выполнения ролика - около 2 минут, размер - 12 мб.

  2. Универсальный поиск.
    Универсальный поиск применяется только для встроенных поисковиков: Яндекса, Рамблера, Google, Yahoo, MSN (Bing), Mail и Апорта. Его возможности сопоставимы с возможностями расширенного поиска этих поисковиков. Работа с несколькими основными поисковиками выглядит так, как будто Вы работаете с одним из них. Повторно найденные ссылки удаляются. Подробнее в отдельной публикации об универсальном поиске.

  3. Глубокий поиск.
    Обратите внимание, что в выдаче Яндекса, Google и Рамблера и некоторых других поисковиков есть ссылки на списки ссылок, соответственно называемые, "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)". СайтСпутник позволяет объединить в один список все ссылки из обычного поиска и все ссылки из этих списков. Он как бы распутывает "бороды" на леске, связывает ее отдельные куски и ровно наматывает леску на катушку. Повторно найденные ссылки удаляются. Подробнее о глубоком поиске на форуме.
    Нет аналогов.

  4. Пакетный поиск!
    Это выполнение сразу нескольких (до 10000) запросов с объединением результатов поиска или раздельно. Любой из упомянутых выше и любой из упомянутых ниже поисковых инструментов, может быть применен в пакете. Повторно найденные ссылки удаляются. Подробнее во введении в SiteSputnik.
    Нет аналогов.

  5. Пакеты с параметрами.
    Любые запросы и пакеты запросов, предназначенные для решения стандартных поисковых задач, могут быть параметризованы, сохранены и выполнены из библиотеки готовых запросов с подстановкой фактических значений параметров. Подробнее в отдельной публикации о параметризации поиска и на форуме.
    Нет аналогов.

  6. Процедурный поиск.
    Процедурный поиск очень важен для профессионалов. В отличии от метапоиска и универсального поиска, он обеспечивает на 100% использование возможностей языков запросов каждого поисковика. Любой запрос, в том числе и входящий в пакет, может быть написан на языке запросов конкретного поисковика и выполнен на том и только на том поисковике, на языке запросов которого он написан. Каждый запрос - точный поиск. Совокупность запросов - полный поиск. Повторно найденные ссылки удаляются. Подробнее здесь.
    Нет аналогов.

  7. Ассемблер!
    Сборка поискового задания из нескольких готовых: запросов, пакетов запросов и пакетов с параметрами. Можно составить несколько поисковых заданий, например, о нескольких юридических и физических лицах, и выполнить эти задания одновременно. Само поисковое задание "транслируется" программой SiteSputnik в пакет запросов и, соответственно, может быть использовано при сборке других поисковых заданий. Подробнее на форуме.
    Нет аналогов.

    Планировщик задач позволяет составлять и выполнять согласно составленному расписанию конкретные задания из различных баз данных (папок).

  8. Мастер подключения новых источников информации!!!
    Он позволяет пользователю самостоятельно подключать поиск по тем ресурсам, которые ему необходимы. Подключенные поисковики "равны в правах" со встроенными основными поисковиками. Они могут быть задействованы во всех инструментах поиска и сбора информации программы СайтСпутник, за исключение универсального поиска. Это увеличивает поисковые "способности" программы. В настоящее время реализовано подключение RSS-потоков и произвольных страниц сайтов. Подробнее в отдельной публикации о Мастере.

    Реализован экспорт-импорт отдельных поисковиков и целых сценариев поиска, подключенных с помощью Мастера.

  9. Поиск в невидимом интернете.
    Он включает в себя следующие базовые функции: поиск невидимых ссылок при помощи спайдера (паука), поиск невидимых ссылок в окрестности видимой ссылки или папки по "образу и подобию", поиск невидимых ссылок в папках открытых и папках, вложенных в открытые папки, поиск невидимых ссылок и папок со стандартными именами с использованием специальных словарей. Подробнее в отдельной публикации по SiteSputnik Invisible.

    Базовые функции известны в узких кругах, но способ их применения аналогов не имеет. Он заключается в следующем: поиск невидимой информации "стартует" со специально построенной подробной видимой веб-карты исследуемого ресурса, что усиливает эффект от применения базовых функций.


  10. Метаобработка ссылок.
    Результат выполнения запроса или пакета запросов - суть множество ссылок. Каждое множество сохраняется в базе данных программы SiteSputnik. Вы можете манипулировать этими множествами ссылок, а именно, выполнять их объединение, пересечение и взятие разности. Объединение позволяет получить единый список ссылок из отдельно выполненных запросов и пакетов запросов. Повторно найденные ссылки удаляются. При выполнении работ по сбору информации объединение - очень важная функция, поскольку невозможно сразу составить пакет запросов, в котором предусмотрены все критерии поиска. Очень часто новые критерии выявляются при анализе результатов предыдущего поиска. Подробнее здесь.

    Операция «Взятие разности» между ссылками, найденными в запросах, выполненных сегодня и вчера, покажет список новых ссылок, и, наоборот, разность между вчерашним и сегодняшним запросом, определит список отсутствующих на сегодня ссылок.

    Нет аналогов.

Выводы по разделу.
  1. Программа SiteSputnik помогает организовать эффективный, полный и точный поиск и сбор информации.
  2. Для обычных пользователей рекомендуется применять метапоиск, универсальный поиск и простые пакеты запросов. Это не требует специальной подготовки и, в большинстве случаев, вполне достаточно для информационного сопровождения Вашей работы, учебы и отдыха.
  3. Именно совместное и грамотное применение рассмотренных инструментов максимально обеспечивает полноту и точность сбора информации на заданную тему. Это может потребовать соответствующей профессиональной подготовки.
  4. Пять из перечисленных инструментов не имеют аналогов в отечественных и зарубежных разработках, четыре имеют уникальную реализацию. В сумме, это делает SiteSputnik уникальным инструментом для поиска и сбора информации в открытых источниках. По образному выражению Дмитрия "MOS" программа осуществляет: "... допрос интернета". Характеристику: "Мне нужно найти все и гарантированно", - дал программе Дмитрий Петряшов.
  5. Такая технология поиска и сбора информации в корне отличается от общепринятой: перехода от запроса к запросу и обратно, от поисковика к поисковику и обратно, от открытия ссылок, которые уже открывались ранее.
  6. О фактической релевантности и вычислении ссылок, на которых размещено максимальное количество искомой информации, а также о других функциях программы СайтСпутник, смотрите ниже. Одной из составляющих эффективности этих функций является полный и точный поиск, описанный в предыдущем разделе.

2! Мониторинг СМИ, новостных и других однородных источников.
К однородным источникам относятся не только собственно новостные источники, но и другие сайты, содержащие периодически обновляемую информацию, например: рекрутинговые, юридические, технические, сайты с коммерческими предложениями, доски объявлений.

На видеоролике продемонстрировано как программа SiteSputnik News (СайтСпутник Новости) мониторит СМИ и новостные источники. Тема мониторинга "Прогнозы аналитиков". Мониторинг осуществляется сразу по восьми источникам: Яндекс-Новости, Google.News, CNews, Вести.ру, News2, Smi2, Газета.Ру, Novoteka.ru. Программа опрашивает перечисленные источники, определяет адреса страниц, на которых появилась новая информация на заданную тему, скачивает эти страницы, автоматически выделяет контенты новостей, отсекая окружающий их "мусор" и новости с одинаковым контентом, оформляет новости в виде собственной ленты и раскладывает по заранее определенным Рубрикам.

Мониторинг региональных СМИ на примере Челябинской области с раскладываниием информации по Рубрикам можно просмотреть на этом видеоролике.

Отслеживание предложений по - купле-продаже бизнеса.

Ещё один видеоролик демонстрирует формирование собственной новостной ленты из новых резюме соискателей на вакантную должность. Информация собирается сразу с нескольких кадровых сайтов: e-prof.ru, finstaff.ru, it-rabota.ru, rabota.mail.ru, job.qip.ru.

Подробнее в публикации о мониторинге СМИ и на форуме.

Нет аналогов.

3. Мониторинг комментариев.
Отслеживание и рубрикация комментариев к новостям и другим сообщениям - SiteSputnik Comments.

4. Мониторинг изменений сайтов по запросу.
Отслеживание появления новой информации на уже существующих страницах по запросу, заданному пользователем, и рубрикация этих изменений - SiteSputnik WebSpider.

5. Мониторинг поиска, обнаружение новых ссылок.
То, что Вы спросили у интернета в первом разделе (поиск максимальной сложности, включая применение Ассемблера), в программе SiteSputnik можно целиком поставить на мониторинг. Основной результат мониторинга поиска - это создание списка "Новые", в который попадают только новые ссылки, точнее только те ссылки, которые отсутствовали в N точно таких же предыдущих поисках. N можно указать в настройках. Оно изменяется в диапазоне от 1 до 99.

Еще точнее: SiteSputnik поместит в список "Новые" не только новые ссылки, но и те ссылки, с которыми Вы не имели возможности ознакомиться ранее. Правильнее его назвать "Незнакомые" ссылки. Подробнее на форуме.

Выводы по разделу.
  • Мониторится на предмет появления новых ссылок вся задача как единое целое, а не ее отдельные составные части, собранные разными запросами на разных поисковиках. В других программах, как правило, отдельно друг от друга мониторятся только первые странички поисковиков.
  • Небольшие размеры данного, предыдущего и следующих двух разделов не умоляют их значимости.


  • Нет аналогов.

    6. Вычисление связей объектов.
    В качестве объектов могут выступать люди, организации, другие одушевленные или неодушевленные предметы. SiteSputnik умеет находить страницы, ресурсы (площадки), домены, на которых они упоминаются (пересекаются). Операция выполняется над любым количеством объектов. Для описания каждого исследуемого объекта используется вся рассмотренная выше "собирательная" мощность программы SiteSputnik (вспомните, например, глубокий поиск, пакеты запросов, Ассемблер, Мастер подключения новых источников информации). Это делает поиск связей объектов достаточно продуктивным. Подробнее здесь.

    Нет аналогов.

    7. Фактическая релевантность. Вычисление максимума информации.
    Существует возможность упорядочить ссылки в порядке близком к фактической значимости этих ссылок по отношению к решаемой задаче, обойдя уловки веб-мастеров и другие способы повышения рейтинга сайтов в поисковиках. Вычисляются, в прямом смысле этого слова, ссылки, содержащие максимум искомой информации. Для этого в программе существует специальная операция, называемая Аналитическое объединение. Подробно: на форуме, в инструкции и в описании способа поиска оптимального поставщика, коротко: в следующих двух абзацах.

    Метод определения информационного максимума следующий (ниже он поясняется на примере). Для каждой ссылки вычисляется ее вес. Вес ссылки равен количеству запросов, которыми она была найдена. Отдельный запрос - это "единица" искомой информации. Упорядочивание ссылок по весу приводит к тому, что в первых рядах выдачи программы СайтСпутник размещаются ссылки, содержащие больше всего (максимум) "единиц" искомой информации, другими словами, наиболее релевантные (значимые) для решаемой задачи ссылки.

    Например,
    для сбора информации о фирме "А" Вы сначала выполняете запрос к поисковикам, указав им в качестве критерия поиска ("единицы" искомой информации) название фирмы. Проанализировав результаты поиска, выполняете еще несколько запросов: по телефону фирмы, ее электронному адресу, по ФИО руководителя, ... Найдя новые критерии поиска, делаете еще запросы, например: по факсу фирмы, по ее ИНН, ОГРН, почтовому адресу, по найденным другим телефонам, ... После этого, применив ко всем отдельным запросам Аналитическое объединение, Вы в первых рядах выдачи программы СайтСпутник получите те ссылки, которые были найдены большим количеством запросов, другими словами, на которых присутствуют больше всего "единиц" искомой информации.

    Выдача
    программы СайтСпутник не будет содержать повторяющихся ссылок - вместо этого в ней каждая ссылка будет сопровождаться ее весом.

    Нет аналогов.

    8. Создание собственных расширенных форм поиска.
    Можно создавать очень сложные свои расширенные формы поиска с использованием не одного, а нескольких поисковиков. Можно использовать в них подключенные поисковики. Прописывайте любые методы поиска: метапоиск, глубокий поиск, поиск по конкретному поисковику. В запросах по конкретному поисковику применяйте любые операторы языка запросов этого поисковика: site:, inurl:, date: и прочие. Подробнее (очень просто "на пальцах") в инструкции о расширенном поиске.

    Нет аналогов.

    Заключительные замечания.
    В данной публикации рассматривались только уникальные возможности программы. Подробнее со всеми ее функциями можно ознакомиться, пройдя по двум ссылкам, указанным в разделе "Список литературы".

    Список литературы.
    Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.

    О сотрудничестве.
    Ваши предложения по развитию программы можно обсудить с автором. Пишите по этому электронному адресу.
    Увидеть как работает программа можно на видеороликах.
    Скачать программу можно отсюда.

    Copyright © Автор ИП Мыльников Алексей Борисович, г. Волгоград, 2018г. Все права защищены.