SiteSputnik. Мониторинг СМИ и новостных источников.
SiteSputnik. Создание собственных новостных лент.
Автор
Алексей Мыльников
Дата выхода публикации - 21.04.10г.     
Последнее изменение - 05.10.11г.     



Назначение, цели, решение
  1. Предположим, что перед Вами стоит задача: постоянно просматривать электронные СМИ, новостные или подобные(1) им источники и собирать информацию на заданную тему или о заданном объекте.
  2. Рассмотрим, как эту задачу можно решить в программе SiteSputnik Pro+News.
  3. Возьмем конкретный объект – Владимир Путин, а в качестве источников информации следующие шесть:
    РБК, Вести.Ру, Яндекс.Новости, Google.Новости, C•News и Gazeta.ru.
  4. Составим средствами программы СайтСпутник специальное задание.
  5. Будем периодически выполнять его, получая результаты,
    один из которых приведен на ссылке http://sitesputnik.ru/Files/ZPutin.htm.
  6. Результаты мониторинга на другую тему: Прогнозы аналитиков, -
    приведены на ссылке http://sitesputnik.ru/Files/ZPrognoz.htm.
  7. Темы мониторинга могут быть любые, источников мониторинга – огромное множество.
  8. Виды источников - самые различные: RSS-потоки существующие и эмулированные, встроенные в сайты поиски, произвольные страницы, на которых изменяется информация и ссылки на неё.
  9. Мониторинг нескольких источников выглядит так, как будто Вы работаете с одним источником.


  10. На видеоролике продемонстрировано как программу SiteSputnik News можно использовать для Мониторинга региональных СМИ.
    В качестве региона выбрана Челябинская область.
    В качестве объектов мониторинга выбраны четыре парламентские партии: "Единая Россия", КПРФ, ЛДПР, "Справедливая Россия".
    Дополнительная информация на форуме.
  11. На другом видеоролике продемонстрирован мониторинг сайтов, содержащих предложения купли-продажи бизнеса.
(1) Под новостью понимается не только собственно новостной контент, но и "синтаксически" аналогичные контенты, например, вакансии с рекрутинговых сайтов, товары и лоты с досок объявлений и торговых площадок, объекты недвижимости, тендеры и прочие.

Особенности реализации на 21.04.2010г.
  1. SiteSputnik соберёт ссылки из всех прописанных источников, на которых упоминается Владимир Путин.
  2. Отсеет повторно найденные ссылки не только для текущего задания, но и для всех ранее выполненных заданий о Владимире Путине.
  3. Откроет все оставшиеся новые ссылки, на которых упоминается В.Путин.
  4. Распознает:
    • местонахождение текстового контента каждой новости;
    • выделит этот контент, отбросив неотносящуюся к новости информацию;
    • разместит «очищенные» новости в специальной выдаче.
  5. С точки зрения пользователя процесс работы выглядит очень просто:
    • выбрал и запустил нужное задание;
    • получил выдачу контента всех новостей, очищенных от мусора.
    • На все действия будет затрачено несколько минут. Остается только ознакомиться с новостями.
    • В случае необходимости, по одному щелчку мышки доступен оригинал страницы, на которой размещена новость.

В настоящее время реализовано следующее.
  1. Отсев повторяющихся новостей не только по «имени» ссылки, но и по контенту новости.
    Это реализовано в рамках выполнения нескольких последних заданий: повторы одинаковых по содержанию новостей удаляются.
  2. Рубрики: раскладывание новостей по полочкам (в древовидную структуру).
    Смотрите отдельную публикацию, посвященную Рубрикам.
  3. Список "Ссылка-Рубрики": для каждой новости (ссылки) приводится перечень Рубрик, в которые она попала.
  4. Список "Рубрика-ссылки": для каждой Рубрики приводится перечень новостей (ссылок), которые в нее попали.
  5. Диспетчер задач, предназначенный для мониторинга новостей по расписанию.
Выводы.
Данный инструмент позволяет пользователю формировать собственные новостные ленты под свои потребности, подбирая нужные источники и критерии выбора из них нужной информации. В отличии от других программ могут быть задействованы практически любые источники и любые способы взятия из них информации.

Обсуждение программы SiteSputnik News
Дополнительную информацию можно получить на форуме:
http://forum.razved.info/index.php?t=1730
http://forum.razved.info/index.php?t=1555
http://forum.razved.info/index.php?t=1045
http://forum.razved.info/index.php?t=894

Список литературы.
Полный список публикаций о программе собран на этой странице http://sitesputnik.ru/Public.htm.
Сайт о программе - http://sitesputnik.ru/.
Скачать программу можно отсюда.