Site Sputnik. Мониторинг интернет-ресурсов: обновления и изменения
Дата выхода публикации: 29.11.08г.     
Последнее изменение: 01.02.10г.     


Назначение программы SiteSputnik: автоматизация поиска, сбора и мониторинга информации.
Перейти на главную страницу сайта о программе можно по ссылке - программа Сайт Спутник.


Данная публикация устарела, более полная и актуальная информация на странице Мониторинг изменений и обновлений сайтов.
Публикация сохранена, потому что находится достаточно высоко в выдаче поисковиков.


Терминология, сокращения.

Пакет запросов. Несколько совместно выполняемых запросов на поиск в интернете.

В СайтСпутник''е есть два вида пакетов. В настоящей инструкции будем использовать пакет с объединением результатов поиска по всем запросам, входящим в состав пакета. Объединенный результат не содержит дублирования ссылок, найденных разными запросами.

Ссылка. Под ссылкой будем понимать любой URL, то есть любую веб-страницу в интернете. В частности, это может быть и страница с результатами выдачи поисковика.

О каком мониторинге пойдет речь в настоящей инструкции.
§ 1. Мониторинг поиска.
Позволяет обнаружить появившиеся в интернете новые ссылки и обновленные ссылки.

§ 2. Мониторинг ссылок.
Позволяет обнаружить и выделить изменения в содержании (в контенте) ссылок.

§ 3. Мониторинг аналитический.
Специальные инструментальные средства, ориентированные на мониторинг интернет-ресурсов.

§ 1. Мониторинг поиска.

Рекомендуется предварительно ознакомиться со следующей инструкцией по СайтСпутник''у: Поиск и сбор информации.

Суть мониторинга поиска.
Предположим, что Вы, используя поисковики, выполнили какой-то запрос или пакет запросов, например, "Иванов Алексей Иванович". Через некоторый промежуток времени Вы повторяете его выполнение. SiteSputnik покажет Вам список новых ссылок, появившихся в интернете после первого выполнения поиска, список открытых (уже скачанных и хранящихся в базе данных) ссылок и отметит в нем те ссылки, которые были обновленны.

Начиная с версии 6.1.4 от 01.02.10, поиск новых ссылок можно осуществлять относительно не одного предыдущего поиска, а N предыдущих поисков (N можно указать в диапазоне от 1 до 99). Для того, чтобы сделать это, зайдите в "Настройки - Параметры - Вкладка Мониторинг" и укажите N в строке: "Выделять ссылки новые относительно N точно таких же последних поисков: создавать список "Новые"". По умолчанию N=10.

Очень важно.
1. Объектом мониторинга поиска является список "Объединение" из базы данных "Поиск в Интернете". Этот список содержит все найденные уникальные ссылки (без повторов) по запросу или пакету запросов, другими словами, все ссылки, содержащие информацию по решаемой Вами задаче.
2. Мониторится, в смысле сказанного в предыдущем пункте, не просто одна или несколько отдельных страниц Яндекса, или Гугля, или другого поисковика (это SiteSputnik тоже умеет делать - смотрите § 2 настоящей инструкции), а связанная с решаемой Вами задачей вся совокупность из нескольких страниц Яндекса, нескольких страниц Гугля, нескольких страниц Яху, ... Причем, если это пакет запросов, то каждый запрос из пакета добавляет на мониторинг свою совокупность страниц поисковиков. Все эти страницы поисковиков, преобразованные СайтСпутник''ом в список "Объединение", мониторятся как единое целое. То есть на мониторинг можно поставить полное и точное описание решаемой Вами поисковой задачи, а не ее отдельные составные части.

Пояснение на наглядном примере.
Например, для того, чтобы одновременно в Яндексе, Google, Рамблере, Yahoo, Mail, Апорте, в блогах Яндеска и Google отслеживать появление новых ссылок, связанных с деятельность автора этих строк, можно регулярно выполнять пакет запросов, в котором отражена вся деятельность автора. На картинке ниже показан упрощенный вариант такого пакета (реальный пакет больше и запросы в нем сложнее). Если Вы еще не знакомы с пакетами запросов СайтСпутник''а, то понять что к чему можно за 1-2 минуты. Посмотрите внимательно и Вы все поймете. Пояснения к каждому запросу приведены прямо в пакете. Они отделены знаками ^^, означающими, что правее следует комментарий.

Пакет запросов

Уникальность мониторинга поиска.
Подобные пакеты являются полным и точным описанием решаемой поисковой задачи.
Ни в одной отечественной и зарубежной разработке нет аналогов подобного мониторинга.

Частный случай.
На мониторинг можно поставить и любой простой запрос, из которых составлен пакет, и любую отдельную страницу или несколько страниц конкретного поисковика.


Последовательность действий при мониторинге поиска через пакет.

1. Составляем пакет, описывающий решаемую задачу (у нас пакет уже составлен), и выполняем его по кнопке "Совместно". Это первое выполнение пакета. СайтСпутник создаст только список "Объединение", содержащий все уникальные ссылки из всех запросов. Список "Новые" создаваться не будет. Он может создаваться только относительно предыдущего выполнения именно этого пакета. Идентификация пакетов на тему "Свой-чужой" осуществляется по их наименованиям, а не по содержанию. В нашем случае наименование пакета - Мониторинг Мыльникова АБ.

2. Через час, сутки, неделю или другой промежуток времени повторяем выполнение пакета.
    Это можно сделать двумя способами.
  1. Выберите пакет, который хотите отмониторить. Нажмите на кнопку "Глобус с линзой" (на рисунке ниже она расположена правее "Золотого ключика"). В этом случае выполнение пакета произойдет поверх его предыдущего выполнения.
  2. Если необходимо оставить результаты предыдущего выполнения пакета в базе данных "Поиск в Интернете", то нажмите на кнопку "Золотой ключик", затем на открывшейся картинке, на кнопку "Пакет", затем на кнопку "Обзор". В открывшемся диалоге выберите тот пакет, который Вы хотите выполнить повторно, и нажмите на кнопку "Совместно".
На приведенной ниже картинке показана верхняя часть списка "Новые" через сутки после первого запуска пакета.

Список новые

При мониторинге поиска через простой запрос его повторное выполнение осуществляется следующим образом.
1. Выберите запрос, который хотите отмониторить. Нажмите на кнопку "Глобус с линзой", расположенную правее "Золотого ключика". В этом случае выполнение запроса произойдет поверх его предыдущего выполнения.
2. Если необходимо оставить результаты предыдущего выполнения запроса в базе данных, то нажмите на кнопку "Золотой ключик", введите тот же запрос (лучше это сделать через буфер обмена) и нажмите на кнопку "Поиск".

Важно.
1. В "Настройке поиска" (подробнее здесь) для всех поисковиков рекомендуется установить большую глубину поиска, например, 100 страниц для того, чтобы "выкопать" всю информацию из интернета и не зависеть от "плавания" ссылок в рейтинге поисковиков.
2. При появлении новой информации, связанной с решаемой задачей, например, icq автора, Вы можете просто добать еще один запрос в пакет в любое место и "мониторить" задачу в будущем. Как пояснялось выше, идентификация пакетов осуществляется по их наименованиям, а не по содержанию.

Дополнительная информация
по мониторингу поиска имеется здесь в пункте "Параметры FileForFiles & SiteSputnik", вкладка "Мониторинг". Для полного представления о мониторинге поиска, ознакомьтесь с описанием этой вкладки.

Список "Открытые".
Это список ссылок, уже скачанных и хранящихся в базе данных "Ссылки открытые". Пример его верхней части приведен на картинке ниже.

Список открытые


Обновленные ссылки.
Для списка "Открытые" можно проверить, были ли обновлены принадлежащие ему ссылки после последнего скачивания.

Список "Объединение"
содержит все найденные ссылки. Среди них есть новые, открытые и те, которые были найдены при N предыдущих выполнениях пакета или запроса. Этот список ссылок будет добавлен к предыдущим при определении новых ссылок при следующих выполнениях поиска.


§ 2. Мониторинг контента ссылок (внимание - бета версия!).
Рекомендуется предварительно ознакомиться со следующей инструкцией по СайтСпутнику: >>> .

Суть мониторинга контента ссылок.
Под монитрингом контента ссылок понимается следующее. Это нахождение и выделение цветом и специальными знаками изменений в содержании (контенте) ссылки относительно ее предыдущего состояния. Соответственно, объектом мониторинга может быть любая ссылка из базы данных "Ссылки открытые".

Отслеживаются следующие изменения ссылки.
1. Изменение текстовой части ссылки.
2. Изменение и появление новых гиперссылок в теле ссылок.
3. Изменение и появление новых картинок (точнее URL картинок) в теле ссылок.

Кроме выявления новых фрагментов и изменений текстовой части ссылки, отмечаются места в тексте, где обнаружено "чистое" удаление фрагментов текстовой информации. Под "чистым" удалением понимается удаление текстового фрагмента, рядом с которым нет изменений в тексте. В противном случае отмечаются эти изменения.

Важно.
1. SiteSputnik позволяет хранить в базе данных любое количество "отмониторенных" состояний для каждой ссылки.
2. Мониторинг может проводиться относительного любого состояния ссылки.


Последовательность действий при мониторинге ссылок.

Для того, чтобы мониторить ссылки, Вы должны находиться в базе данных "Ссылки открытые". На третьей картинке ниже, называемой Группа ссылок, эта база данных отмечена зеленой галочкой.

Чтобы отмониторить одну единственную ссылку нажмите правую кнопку мышки на иконке, обведенной на картинке ниже красным квадратом.

Мониторинг 1

Чтобы отмониторить группу ссылок (несколько ссылок) нажмите правую кнопку мышки на иконке, обведенной на картинке ниже синим прямоугольником.

Мониторинг N

Чтобы включить ссылку в группу ссылок, в нижней таблице в ячейке колонки "Обновить" установите значение "Да" (для этого можно использовать двойной щелчок мышкой по ячейке). На картинке ниже красным эллипсом обведена эта колонка. В ней в группу ссылок включены три ссылки из четырех.

Группа ссылок

Если Вы хотите поставить на мониторинг произвольную ссылку, нехранящуюся в базе данных "Ссылки открытые", например, из адресной строки браузера, установленного по умолчанию, то скопируйте эту ссылку в буфер обмена, затем встаньте на нижнюю таблицу и нажмите правую кнопку мышки. На всплывающем меню, показанном на картинке Импорт, выберите пункт "Импорт ссылки". Интересная для Вас ссылка попадет из буфера обмена в нижнюю таблицу. Откройте эту ссылку. Теперь через некоторый промежуток времени Вы сможете отмониторьте ее. К слову будет сказано, что это один из приемов помещения произвольной ссылки в базу данных "Ссылки открытые".

Импорт ссылок

Распишем по пунктам постановку на мониторинг произвольной ссылки.

Постановка на мониторинг произвольной ссылки.
1. Любым способом поместите в буфер обмена интересующую Вас ссылку, например,
    http://www.a-rsb.ru/forum/index.php?showforum=45
2. Встаньте на нижнюю таблицу в СайтСпутник''е, нажмите правую кнопку мышки и перейдите к меню Импорт.
3. Выберите пункт "Импорт ссылки" и запомните ссылку в базе данных "Ссылки открытые" СайтСпутник''а.
4. Откройте эту ссылку, например, нажав левую кнопку мышки на иконке, обведенной на картинке выше красным квадратом. Это следует сделать обязательно, чтобы иметь состояние ссылки, относительно которого будем делать мониторинг в будущем.
5. Через час, день или другой промежуток времени встаньте на эту ссылку и нажмите правую кнопку мышки на иконке, обведенной на картинке выше красным квадратом. Это приведет к скачиванию нового состояния ссылки и сравнению его с предыдущим состоянием.

Страница 1 Страница 2

На двух картинках выше показаны два состояния исследуемой страницы, временной отрезок между которыми несколько суток. Красными галочками отмечены места, где найдены обновленные или новые гиперссылки. Обновленных или новых URL картинок не найдено. В противном случае, они были бы помечены синими галочками. От выделения гиперссылок и картинок можно отказаться в "Настройки | Параметры " на вкладке "Мониторинг".

Подобным образом Вы можете поставить на мониторинг любую ссылку, в том числе и виртуальную поисковую страницу.
Распишем по пунктам постановку на мониторинг поисковой страницы Яндекса.

Постановка на мониторинг поисковой страницы.
1. Откройте в Вашем любимом браузере главную страницу Яндекса: http://www.yandex.ru/.
2. Наберите любой запрос, например, программа /1 SiteSputnik. На языке запросов Яндекса это означает, что между словоформами от слов "программа" и "SiteSputnik" может быть не более одного слова и встречаться эти словоформы в искомых документах могут в любом порядке.
3. Желательно, но необязательно, внизу открывшейся страницы с результатами поиска по запросу нажать на "Отсортировано по дате" для того, чтобы новые и обновленные ссылки, удовлетворяющие запросу, выводились первыми.
4. Скопируйте в буфер обмена адрес из адресной строки браузера. В нашем случае это будет следующая строка:

    http://yandex.ru/yandsearch?how=tm&text=%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0%20%2F1%20SiteSputnik
5. Перейдите к пункту 2 предыдущей последовательности действий.


Страница Яндекса Страница Яндекса

На двух картинках выше показаны два состояния исследуемой поисковой страницы Яндекса, временной отрезок между которыми около суток.


Билистинг.
Для удобства визуального сравнения документов и, в первую очередь, результатов мониторинга в СайтСпуткик''е существует специальная функция, называемая билистинг. При помощи билистинга в одно окно можно поместить два любых документа.

Билистинг

На картинке выше продемонстрировано применение билистинга для двух состояний первой поисковой страницы Yahoo по запросу СайтСпутник.

Используя обычный документ и билистинг, можно построить трилистинг.
Используя обычные документы, билистинги, трилистинги, ... можно построить N-листинг.

Создание билистинга.
1. Перейдите в подменю на кнопке "Глобус с линзой" (обведена синим квадратом). Получите картинку, расположенную ниже.
Меню билистинга
2. Если Вы выберите пункт "Из соседних документов", то получите билистинг из просматриваемого документа и следующего за ним документа.
3. Если требуется создать билистинг не из соседних документов, то сделайте следующее.
    3.1. Встаньте на первый документ и выберите пункт "Назначить первым документом".
    3.2. Встаньте на второй документ и выберите пункт "Назначить вторым документом".
    3.3. Выберите пункт "Билистинг из документов (1) и (2)".
4. Чтобы создать трилистинг, перейдите к пункту 3 и выберите в качестве одного из документов билистинг.

На картинке ниже приведен пример трилистинга. Третий документ в трилистинге делался при помощи мониторинга первого документа через больший промежуток времени, чем второй документ.

Трилистинг



Полезные советы.
1. Можно использовать клавиатуту для работы с билистингами, а именно, клавиши Alt+0, Alt+1, Alt+2, Alt+3. На картинке Меню билистинга представлено назначение каждой клавиши. Для функционирования этих клавиш необходимо, чтобы фокус находился на нижней таблице.
2. Для удобства просмотра N-листингов, рекомендуется применять кнопку, расположенную на нижней правой инструментальной панели. На картинке Билистинг эта кнопка обведена красной окружностью. Кликнув но ней левой кнопкой мышки, Вы переведете SiteSputnik в полноэкранный режим просмотра документов. Затем, кликнув по ней правой кнопкой, Вы оставите на экране только документ (верхняя и нижняя таблицы исчезнут и не будут занимать часть экрана).

Ограничения.
В данной версии можно поставить на мониторинг только HTML-документы.

§ 3. База данных "Мониторинг".
В настоящее время разработана специальная база данных "Мониторинг". К ней подключены все функции, рассмотренные в § 2.
Для того, чтобы получить доступ к БД "Мониторинг" зайдите из главного меню в "Настройки - Параметры - Вкладка Вид" и установите галочку в пункте "Мониторинг", который находится в правом нижнем углу.


Список литературы.
Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.

О сотрудничестве.
Ваши предложения по развитию программы можно обсудить с автором.
Пишите по этому электронному адресу.
Скачать программу можно по адресу.

Copyright © 2003-2024 ИП Мыльников Алексей Борисович. Все права защищены. E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92