Программа FileForFiles & SiteSputnik (СайтСпутник) предназначена для поиска, сбора, мониторинга и анализа информации, размещенной в интернете. Особое внимание уделяется получению новой информации на заданную тему.

Программа позволяет:

• затратив  значительно меньше времени,
• получить значительно больше информации,
• которая   будет значительно точнее.

Под получением информации понимается следующее:

• поиск и сбор информации в видимом и невидимом интернете;
• выявление новых ссылок по целому пакету запросов (полный и точный поиск);
• мониторинг и рубрикация потоков новой информации, в частности, для СМИ;
• мониторинг и рубрикация обновлений контента ссылок;
• нахождение взаимных связей людей, фирм и других объектов.

Видеоматериалы и публикации:

• примеры работы программы - на видеороликах;
• подробное обсуждение - на форуме СПКР;
• детальное описание - в перечне публикаций о программе.

Скачайте файл и скопируйте папку FileForFiles на жесткий диск в ту папку, в которой собираетесь разместить программу.

Откройте файл FileForFiles.exe, размещенный в скопированной папке. Программа проинсталлируется и откроется.

Нажмите на иконку "Золотой ключик"   , введите свой первый запрос, например, "Мыльников Алексей Борисович" или свои данные,

и нажмите на кнопку  Поиск .

Программа SiteSputnik (смотрите табличку) за несколько секунд успеет опросить 7 поисковиков, открыть в них 24 поисковые страницы, найти 227 релевантные ссылки, убрать повторно встретившиеся ссылки и из оставшихся 156 уникальных ссылок составить список "Объединение".

Имя поисковика	Заказано страниц	Скачано страниц	Найдено ссылок	Время поиска	КПД поисковика	Отмечено ссылок
Yandex	5	5	50	0:00:05	32%	0
Google	5	5	44	0:00:03	28%	0
Yahoo	5	5	50	0:00:05	32%	0
Rambler	5	4	56	0:00:07	36%	0
MSN (Bing)	5	3	23	0:00:04	15%	0
Yandex.Блоги	5	1	1	0:00:01	1%	0
Google.Блоги	5	1	3	0:00:01	2%	0
Итого:	35	24	227	0:00:26	—	0

Итого: количество уникальных ссылок - 156 , повторяющихся ссылок - 46%.

(!) Повторите Ваш запрос через несколько часов или суток, и Вы увидите в отдельном списке новые ссылки, появившиеся за этот промежуток времени. При многократном выполнении запроса список, содержащий только новые ссылки, создается относительно всех предыдущих его выполнений. Данная функция поддерживается как для отдельных запросов, так и для целых пакетов запросов.

Довольно часто перед пользователем возникает следующая задача - нужно узнать, что есть в интернете о конкретном объекте: человеке или фирме. Например, при приеме на работу нового сотрудника или появлении нового контрагента (фирмы или индивидуального предпринимателя) Вы всегда знаете ФИО, название фирмы, телефоны, ИНН, ОГРН или ОГРНИП, также можете взять ICQ, Скайп и некоторые другие данные. Далее, используя обращение к специальной функции программы СайтСпутник "Сбор информации об объекте" (см. картинку ниже),

Вы вносите те данные, которые Вам удалось узнать, и по одному щелчку мышки осуществляете точный и полный поиск ссылок, содержащих заданную информацию. Поиск выполняется сразу на нескольких поисковиках, сразу по всем реквизитам, сразу по всем возможным комбинациям записи реквизитов (вспомните как по-разному можно записать номер телефона, кстати, вот ролик, в котором отдельно показан задействованный здесь поиск по мобильнику). Через определенный промежуток времени Вы, не выполняя скучной рутинной работы, получите список ссылок, очищенный от повторов и, главное, упорядоченный по релевантности для искомого объекта. Релевантность (значимость) достигается за счет того, что первыми будут идти те ссылки, на которых находится большее количество заданных Вами реквизитов, а не те, которые продвинули вверх выдачи поисковиков Веб-мастера.

Мониторинг поиска. Под мониторингом поиска понимается следующее. Если требуется отслеживать появление новой информации, точнее новых ссылок, по заданному объекту или по любой другой задаче, то Вам достаточно периодически повторять соответствующий ей поиск. Как и для простого запроса программа СайтСпутник создаст список "Новые", в который поместит только те ссылки, которые не были найдены ни в одном из предыдущих поисков.

Кроме мониторинга поиска реализован ещё более сложный мониторинг потоков информации, частным случаем которого является мониторинг СМИ. В нём ссылки, "пройдя" через мониторинг поиска (фильтр грубой очистки), скачиваются, их контент очищается от информационного мусора и повторов и раскладывается по Рубрикам (фильтр тонкой очистки). На видеороликах приведены два конкретных демонстрационных примера такого мониторинга: мониторинг купли-продажи бизнеса и мониторинга СМИ на примере Челябинской области. Первый видеоролик встроен в данную страницу:

В нём задействованы: 6 источников информации (БизнесТорг, БизнесДляПродажи, БизнесЗона, из Рук в Руки, business.slando.ru, avito.ru) и 4 рубрики для сбора бизнес-информации по интересующим темам: Автосервис, Интернет-магазины, Салоны красоты, Турарентства. В реальной работе можно задействовать сотни источников и сотни рубрик. Каждый последующий запуск данного задания приносит информацию только о новых объектах бизнеса, выставленных на продажу.

Чтобы получить максимум пользы от программы, задействуйте её основные функции, а именно:

• составьте пакеты запросов (см. картинку ниже), пакеты с параметрами, используйте Ассемблер (сборщик поисковых заданий), операцию "Аналитическое объединение", при необходмости, примените базовые функции поиска в невидимом интернете;
  
  
• можно подключить к встроенным в программу поисковикам и поискам новые источники информации: другие поисковики и встроенные в сайты поиски, RSS-потоки, при необходимости, доступна эмуляция нескольких собственных RSS-потоков с произвольных страниц;
  
  
• используйте возможности мониторинга, а именно: результатов поиска по целому пакету запросов, средств массовой информации, новостных и других источников (сайтов), отслеживайте появление новой информации на уже существующих страницах;
  
  
• задействуйте Рубрики, внешние функции, Планировщик задач, Клиентские папки, рассылку, несколько компьютеров, Инструктор Проектов, установите сигнализацию для оповещения о наступлении значимых событий, примените другие перечисленные ниже функции.
  
  
• ссылки на инструкции, статьи, очерки, пресс-релизы, обсуждения программы на нескольких форумах, - собраны на отдельной странице.

­  Программа SiteSputnik постоянно совершенствуется в направлении: "Мне нужно найти всё и с гарантией".

­  Вариант­ Pro - базовый: поиск, сбор информации, мониторинг поиска.
­  Вариант­ Objects - объекты: физические и юридические лица - сбор информации и связи.
­  Вариант­ News - мониторинг СМИ, новостных и других источников (сайтов).
­  Вариант­ WebSpider - мониторинг изменений источников (сайтов) по запросу (по критерию).
­  Вариант­ Station - круглосуточный мониторинг с использованием нескольких компьютеров.
­  Вариант­ Invisible - базовые функции поиска информации в невидимом интернете.
­  Вариант­ Contacts - поиск контактной информации.
­  Вариант­ Corp ориентирован на корпоративных клиентов, функционально подобен Pro.
­  Вариант­ User - решение очень простых задач, таких как в первом пункте, с ограничениями.

­  Принадлежность описанных ниже функций программы к её вариантам отражена в прайс-листе.
­  Все варианты, кроме User, построены на базе Pro. Варианты WebSpider и Station - на базе News.
­  Допускается любое сочетание вариантов, построенных на базе Pro.


А. Функции поиска и сбора информации.

• Пакет запросов - выполнение сразу нескольких запросов с объединением результатов поиска или раздельно. При формировании объединенного результата повторно найденные ссылки удаляются. На картинке ниже приведен пример простого пакета запросов.

Этот пакет состоит из семи разных запросов, собирающих информацию о Василие Шукшине из нескольких источников, среди которых есть поисковики, Википедия, точный поиск в новостях Яндекса, метапоиск и поиск упоминаний на ТВ и радиостанциях. Для каждого источника прописана своя глубина поиска в страницах. Подробнее о пакетах - во введении в SiteSputnik, наглядно - на видео: совместное и раздельное выполнение запросов. Нет аналогов в отечественных и зарубежных разработках.

• Пакеты с параметрами. Любые запросы и пакеты запросов, предназначенные для решения стандартных поисковых задач, например, поиск по телефону, ФИО или e-mail, - могут быть параметризованы, сохранены и выполнены из библиотеки готовых запросов с подстановкой фактических значений параметров. Каждый пакет с параметрами - это собственная специальная расширенная форма поиска. В ней можно задействовать не один, а несколько поисковиков. Можно создать очень сложные по своему функциональному назначению формы. Чрезвычайно важно, что формы могут быть созданы самими пользователями, без участия автора программы или программиста. Предельно просто об этом написано в инструкции, подробнее в отдельной публикации о параметризации поиска и на форуме, наглядно на видео: поиск сразу по всем вариантам записи номера мобильного телефона и по нескольким вариантам записи адреса электронной почты. Нет аналогов.

• Ассемблер ^NEW - сборка поискового задания из нескольких готовых: запросов, пакетов запросов и пакетов с параметрами. Пакеты могут в своем тексте содержать другие пакеты. Глубина вложенности пакетов неограничена. Можно составить несколько поисковых заданий, например, о нескольких юридических и физических лицах, и выполнить эти задания одновременно. Подробнее на форуме и в отдельной публикации об Ассемблере, наглядно на видео. Нет аналогов.

• Аналитическое объединение результатов поиска позволяет объединить результаты различных поисков в единую выдачу, причем первыми ссылками в выдаче будут те ссылки, которые были найдены большим количеством поисков. Аналитическое вычитание позволяет из результатов одного поиска вычесть (убрать) результаты другого поиска. Нет аналогов.

• Мастер подключения новых источников информации позволяет пользователю самостоятельно подключать поиск по тем ресурсам, которые ему необходимы, а также RSS-потоки и произвольные веб-страницы, что особенно важно при мониторинге СМИ и новостных источников. Подключенные при помощи Мастера источники могут быть задействованы во всех компонентах программы СайтСпутник наравне со встроенными поисковиками. Подробнее в отдельной публикации о Мастере.

• Экспорт-импорт источников и сценариев поиска позволяет выгружать в файл подключенные при помощи Мастера отдельные источники и целые сценарии поиска и загружать из файла их на другом компьютере. Это значительно упрощает работу пользователя и позволяет организовать общими усилиями доступную для всех библиотеку источников и сценариев поиска. Подробнее в отдельной публикации об экспорте-импорте.

• Метапоиск - выполнение конкретного запроса одновременно на нескольких источниках на заданную "глубину" поиска для каждого из них. Возможен метапоиск по встроенным поисковикам, к которым относятся Яндекс, Рамблер, Google, Yahoo, MSN (Bing), Mail, блоги Яндекса и Google, и по подключенным средствам поиска. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. Повторно найденные ссылки удаляются. Наглядно метапоиск по трем подключенным социальным сетям: VKontakte, Twitter и Youtube, - показан на видео.

• Метапоиск по сайту - объединение поиска по сайту в Google, Yahoo, Яндексе, MSN (Bing). Наглядно на видео.

• Метапоиск в офисных документах - объединение поиска в файлах формата PDF, XLS, DOC, RTF, PPT, FLASH в Google, Yahoo, Яндексе, MSN (Bing). Можно выбрать любую комбинацию форматов файлов.

• Метапоиск кэш-копий ссылок в Яндексе, Google, Yahoo, MSN (Bing). Составляется список, в каждом пункте которого собраны все сниппеты, найденные для каждой ссылки каждым поисковиком. Нет аналогов.

• Глубокий поиск для Яндекса, Google и Рамблера позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)". Подробнее о глубоком поиске на форуме. Нет аналогов.

• Универсальный поиск (универсальный язык запросов) применяется для встроенных поисковиков: Яндекса, Рамблера, Google, Yahoo, MSN (Bing) и Mail. Возможности универсального поиска сопоставимы с возможностями расширенного поиска этих поисковиков. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. Повторно найденные ссылки удаляются. Подробнее в отдельной публикации об универсальном поиске.

• Точный и полный поиск. Под этим понимается следующее. С одной стороны, каждый запрос может быть выполнен на том и только на том источнике, на языке запросов которого он написан. Это точный поиск. C другой стороны, таких запросов и источников может быть произвольное количество. Это обеспечивает полный поиск. Повторно найденные ссылки удаляются. Подробнее в отдельной публикации о процедурном поиске. Нет аналогов.

• Поиск в невидимом интернете включает в себя следующие базовые функции: поиск невидимых ссылок при помощи спайдера (паука), поиск невидимых ссылок в окрестности видимой ссылки или папки по "образу и подобию", поиск невидимых ссылок в папках открытых и папках, вложенных в открытые папки, поиск невидимых ссылок и папок со стандартными именами с использованием специальных словарей. Подробнее в отдельной публикации по SiteSputnik Invisible. Базовые функции "хорошо известны в узких кругах", но способ их применения аналогов не имеет.



Б. Функции мониторинга информации.

• Мониторинг на предмет появления в интернете новых ссылок по заданной теме. Мониторить появление новых ссылок можно при помощи целых пакетов запросов, в которых задействованы любые упомянутые выше методы поиска, а не отдельные первые страницы поисковиков. Реализовано объединение и пересечение новых ссылок из нескольких отдельных поисков. Подробнее в публикации о мониторинге (см. § 1) и на форуме. Нет аналогов.

• Мониторинг новостных потоков, формирование собственных новостных лент. Это происходит в два этапа: синтез и анализ информационного потока. Синтез потока, содержащего "крупицы" нужной информации, осуществляется не только из имеющихся на сайтах RSS-потоков, но и из встроенных в сайты поисков и cэмулированных RSS-потоков с произвольных веб-страниц. Анализ сформированного потока осуществляется при помощи Рубрикатора, который обеспечивает автоматическое раскладывание контентов новостей по "полочкам" (по темам) и формирование полнотекстовых тематических новостных лент. Важное уточнение: под новостью понимается не только собственно новостной контент, но и подобные контенты, например, новая информация по научно-техническим, экономическим, юридическим, финансовым, спортивным и другим вопросам. Подробнее в отдельной публикации о мониторинге СМИ и новостных источников.

• Мониторинг изменений на сайтах^NEW наблюдает за обновлениями уже существующих страниц, а именно, за появлением на них новой информации, удовлетворяющей запросам, заданным Пользователем (рубрикация обновлений). Подробнее в отдельной публикации о мониторинге изменений на сайтах.

• Клиентские папки позволяют сотрудникам предприятия разных подразделений по одному клику мышки получать новую информацию по своей специальности (это описанные в предыдущем пункте тематические новостные ленты) по факту её появления в открытых источниках интернета. Реализована автоматическая E-mail рассылка тематических новостных лент. Подробнее в отдельной публикации: Организация информационного обеспечения предприятия.

• Коллективная обработка информации. Создание корпоративной или профессиональной сети для коллективного сбора, мониторинга и анализа информации. Участниками и создателями такой сети являются сотрудники корпорации, члены профессионального сообщества или группы по интересам. Географическое расположение участников не имеет значение. Подробнее в отдельной публикации об организации сети коллективного сбора, мониторинга и анализа информации.

• Мониторинг на нескольких компьютерах. Круглосуточный мониторинг источников информации (сайтов) с использованием нескольких компьютеров. Подробнее в отдельной публикации - круглосуточный мониторинг.

• Мониторинг ссылок (веб-страниц) на предмет обнаружения изменений в их содержании (контенте). Бета версия. Найденные изменения выделяются цветом и специальными знаками. Подробнее в отдельной публикации о мониторинге (см. § 2 и 3).



В. Функции анализа информации.

• Рубрикация материалов достаточно подробно описана выше и в отдельной публикации о Рубриках. Правила попадания в Рубрики позволяют указывать ключевые слова и расстояние между ними, задавать логические "И" и "ИЛИ", применять одноуровневую скобочную структуру и файлы-вставки. Несколько слов об одном из её видов, а именно, о Пост-запросе. Пост-запрос - это дополнительные Правила анализа контента новых ссылок или изменений контента ссылок относительно их предыдущего состояния.

• ВФ-технология - практически произвольное расширение возможности рубрикации материалов посредством реализации внешних функций, которые органически встраиваются в Правила попадания в Рубрики и могут быть реализованы программистом самостоятельно без участия автора программы.

• Анализ заполняемости Рубрик, установка сигнализации и оповещение о наступлении значимых событий посредством выделения цветом Рубрик и/или отправки по e-mail отчета о срабатывании сигнализации.

• Фактическая релевантность. Существует возможность упорядочить ссылки в порядке близком со значимостью этих ссылок по отношению к решаемой задаче, обойдя уловки веб-мастеров и другие способы повышения рейтинга сайтов в поисковиках. Это достигается на основе анализа результатов выполнения нескольких "разноплановых" запросов на заданную тему. Вычисляются, в прямом смысле этого слова, ссылки, содержащие максимум искомой информации. Подробнее в описании способа поиска оптимального поставщика и на форуме. Нет аналогов.

• Вычисление связей объектов - поиск ссылок, ресурсов (площадок), папок и доменов, на которых упоминаются (пересекаются) объекты. Наиболее распространенные объекты - это люди и фирмы. Для поиска связей могут быть задействованы все упомянутые на этой странице средства программы SiteSputnik, что значительно повышает эффективность проделанной Вами работы. Операция выполняется над любым количеством объектов. Подробнее во введении в программу, а также в описании новой функции "объекты и их связи". Нет аналогов.

• Формирование, объединение и пересечение потоков информации на самые различные темы, сопоставление потоков. Подробнее в отдельной публикации о потоках.

• Построение веб-карт сайтов, ресурсов, папок и искомых объектов на основе найденных в интернете при помощи Google, Yahoo, Яндекса, MSN (Bing) и Altavista ссылок, принадлежащих сайту. Специалисты могут узнать: не видно ли "лишней" информации из интернета на их сайтах, а также исследовать на этот предмет сайты конкурентов. Веб-карта сайта - это материализация видимого интернета. Подробнее в отдельной публикации о построении веб-карт, наглядно на видео. Нет аналогов.

• Поиск контактной информации предприятий в открытых источниках. Список предприятий может быть любой длины. Контактная информация: адрес, номера телефонов и факсов, e-mail. Подробнее в отдельной публикации о поиске контактной информации.



Г. Сервисные функции.

• Планировщик задач (Scheduler) обеспечивает работу по расписанию: выполняет в заданное время, из заданных баз данных, заданные функции программы. Подробнее в отдельной публикации о Планировщике.

• Инструктор Проектов^NEW - это помощник при создании и сопровождении Проектов по поиску, сбору, мониторингу и анализу информации (рубрикации и сигнализации). Подробнее на форуме.

• Автоматическая архивация. В базах данных автоматически запоминаются все результаты Вашей работы, а именно: запросы, пакеты запросов, протоколы поиска и мониторинга, ..., любые другие вышеперечисленные функции и результаты их выполнения. Можно структурировать работу по темам, подтемам или другим критериям. Нет аналогов.

• База данных включает сортировки, простой поиск и произвольный поиск по SQL-запросу. Для последнего имеется мастер составления SQL-запросов. Используя эти средства, можно найти и ознакомиться с той работой, которую Вы делали вчера, в прошлом месяце, год назад, определить в качестве критерия поиска тему или задать другой критерий поиска по содержанию базы данных.

• Технические ограничения поисковиков. Некоторые ограничения, связанные, например, с длиной строки запроса, могут быть преодолены. О способе преодоления нарушения закона аддитивности для основных поисковиков можно прочитать здесь. Для одного слова или одной фразы, взятой в кавычки, реализован поиск в поисковиках с учетом регистра, в частности, поиск по аббревиатуре.

• Встроенный браузер. Навигатор по страницам. Многоцветный маркер для выделения ключевых и произвольных слов. Билистинг и N-листинг из сформированных документов.

• Инструмент для сравнительного анализа выдачи поисковиков.

• Выгрузка новостных лент в табличное представление, ориентированное на импорт в Excel, Access и другие Приложения.

---

Установка описана в пункте 1.

Программа будет работать на любом компьютере, на котором установлен Windows любой версии.

Требуется, чтобы в Windows присутствовал Internet Explorer любой версии.

Автор в настоящее время использует Windows 7 и Internet Explorer 9.

Прайс-лист для юридических и физических лиц размещен на отдельной странице.

• Адаптация приложения FileForFiles & SiteSputnik под специальные потребности заказчика.
• к.т.н. Мыльников А.Б.: "Поиск, сбор, мониторинг и анализ информации в интернете", - авторские курсы.

Электрoнная пoчта: 1a@sitesputnik.ru,
тел./факс: +7(8442)79-52-42, сот.: +7(905)392-97-92, г. Волгоград,
индивидуальный предприниматель Мыльников Алексей Борисович.

Добровольная финансовая поддержка проекта может быть осуществлена через Qiwi-кошелёк: 9053929792