Программа FileForFiles & SiteSputnik (СайтСпутник) предназначена для поиска, сбора, мониторинга и анализа информации, размещенной в интернете. Особое внимание уделяется получению новой информации на заданную тему.

Программа позволяет:

• затратив  значительно меньше времени,
• получить значительно больше информации,
• которая   будет значительно точнее.

Под получением информации понимается следующее:

• поиск и сбор информации в видимом и невидимом интернете;
• выявление новых ссылок по целому пакету запросов, полно и точно описывающему заданную тему;
• мониторинг потоков информации и периодически обновляемых сайтов, в частности, мониторинг СМИ;
• нахождение взаимных связей людей, фирм и других объектов.

Видеоматериалы и публикации:

• примеры работы программы - на видеороликах;
• подробное обсуждение - на форуме СПКР;
• детальное описание - в перечне публикаций о программе.

Скачайте файл и скопируйте папку FileForFiles на жесткий диск в ту папку, в которой собираетесь разместить программу.

Откройте файл FileForFiles.exe, размещенный в скопированной папке. Программа проинсталлируется и откроется.

Нажмите на иконку "Золотой ключик"   , введите свой первый запрос, например, "Мыльников Алексей Борисович" или свои данные,

и нажмите на кнопку  Поиск .

Программа SiteSputnik (смотрите табличку) за несколько секунд успеет опросить 7 поисковиков, открыть в них 24 поисковые страницы, найти 227 релевантные ссылки, убрать повторно встретившиеся ссылки и из оставшихся 156 уникальных ссылок составить список "Объединение".

Имя поисковика	Заказано страниц	Скачано страниц	Найдено ссылок	Время поиска	КПД поисковика	Отмечено ссылок
Yandex	5	5	50	0:00:05	32%	0
Google	5	5	44	0:00:03	28%	0
Yahoo	5	5	50	0:00:05	32%	0
Rambler	5	4	56	0:00:07	36%	0
MSN (Bing)	5	3	23	0:00:04	15%	0
Yandex.Блоги	5	1	1	0:00:01	1%	0
Google.Блоги	5	1	3	0:00:01	2%	0
Итого:	35	24	227	0:00:26	—	0

Итого: количество уникальных ссылок - 156 , повторяющихся ссылок - 46%.

Для того, чтобы в реальном масштабе времени увидеть как программа выполняет этот запрос, в частности, создает табличку и список "Объединение", откройте видеоролик, размещенный на YouTube.

(!) Повторите Ваш запрос через несколько часов или суток, и Вы увидите в отдельном списке новые ссылки, появившиеся за этот промежуток времени. При многократном выполнении запроса список, содержащий только новые ссылки, создается относительно всех предыдущих его выполнений. Данная функция поддерживается как для отдельных запросов, так и для целых пакетов запросов.

Довольно часто перед пользователем возникает следующая задача - нужно узнать, что есть в интернете о конкретном объекте: человеке или фирме. Например, при приеме на работу нового сотрудника или появлении нового контрагента (фирмы или индивидуального предпринимателя) Вы всегда знаете ФИО, название фирмы, телефоны, ИНН, ОГРН или ОГРНИП, также можете взять ICQ, Скайп и некоторые другие данные. Далее, используя обращение к специальной функции программы СайтСпутник "Сбор информации об объекте" (см. картинку ниже),

Вы вносите те данные, которые Вам удалось узнать, и по одному щелчку мышки осуществляете точный и полный поиск ссылок, содержащих заданную информацию. Поиск выполняется сразу на нескольких поисковиках, сразу по всем реквизитам, сразу по всем возможным комбинациям записи реквизитов (вспомните как по-разному можно записать номер телефона). Через небольшой промежуток времени Вы, не выполняя скучной рутинной работы, получите список ссылок, очищенный от повторов и, главное, упорядоченный по релевантности для искомого объекта. Релевантность (значимость) достигается за счет того, что первыми будут идти те ссылки, на которых находится большее количество заданных Вами реквизитов, а не те, которые продвинули вверх выдачи поисковиков Веб-мастера. Если требуется отслеживать появление новой информации по заданному объекту, то Вам достаточно периодически повторять данный поиск. Как и для простого запроса программа СайтСпутник создаст список "Новые", в который поместит только те ссылки, которые не были найдены ни в одном из предыдущих поисков. Эта функция программы называется мониторингом поиска. В данном случае она применена для работы с объектами.

Кроме мониторинга поиска реализован ещё более сложный мониторинг потоков информации, частным случаем которого является мониторинг СМИ. В нем ссылки, "пройдя" через мониторинг поиска (фильтр грубой очистки), скачиваются, их контент очищается от информационного мусора и повторов и раскладывается по Рубрикам (фильтр тонкой очистки). На видеороликах приведены два конкретных демонстрационных примера такого мониторинга: мониторинг купли-продажи бизнеса и мониторинга СМИ на примере Челябинской области. Первый видеоролик встроен в данную страницу:

В нём задействованы: 6 источников информации (БизнесТорг, БизнесДляПродажи, БизнесЗона, из Рук в Руки, business.slando.ru, avito.ru) и 4 рубрики для сбора бизнес-информации по интересующим темам: Автосервис, Интернет-магазины, Салоны красоты, Турарентства. В реальной работе можно задействовать сотни источников и сотни рубрик. Каждый последующий запуск данного задания приносит информацию только о новых объектах бизнеса, выставленных на продажу.

Это была "увертюра" к программе SiteSputnik, - "озвучена" часть её возможностей:

• осваивайте пакеты запросов (см. картинку ниже), пакеты с параметрами, ассемблер (сборщик поисковых заданий), операцию "Аналитическое объединение", при необходмости, применяйте базовые функции поиска в невидимом интернете;
  
  
• подключайте к встроенным в программу поисковикам и поискам новые источники информации: другие поисковики и встроенные в сайты поиски, существующие RSS-потоки, при необходимости, эмулируйте собственные RSS-потоки с произвольных страниц;
  
  
• используйте возможности мониторинга, а именно: результатов поиска по целому пакету запросов, средств массовой информации, новостных и других источников (сайтов), на которых периодически появляется новая информация;
  
  
• задействуйте Рубрики, Планировщик задач, Клиентские папки, несколько компьютеров, а также другие перечисленные ниже функции.



• ссылки на инструкции, статьи, очерки, пресс-релизы, обсуждения программы на нескольких форумах, - собраны на отдельной странице.

­  Программа SiteSputnik (СайтСпутник) постоянно совершенствуется в направлении: "Мне нужно найти всё и с гарантией".

­  Вариант­ Pro - базовый, для специалистов самых различных направлений.
­  Вариант­ Objects - объекты: физические и юридические лица - сбор информации и связи.
­  Вариант­ News - мониторинг СМИ, новостных и других источников (сайтов).
­  Вариант­ Station - круглосуточный мониторинг с использованием нескольких компьютеров.
­  Вариант­ Invisible - поиск информации в невидимом интернете.
­  Вариант­ Contacts - поиск контактной информации.
­  Вариант­ Corp ориентирован на корпоративных клиентов, функционально подобен Pro.
­  Вариант­ User - решение простых задач, таких как на упомянутом выше после таблички видеоролике.

­  Принадлежность описанных ниже функций программы к её вариантам отражена в прайс-листе.
­  Все варианты, кроме User, построены на базе Pro. Вариант Station - на базе News.
­  Допускается любое сочетание вариантов, построенных на базе Pro.


Функции поиска и сбора информации.

• Пакет запросов - выполнение сразу нескольких запросов с объединением результатов поиска или раздельно. При формировании объединенного результата повторно найденные ссылки удаляются. На картинке ниже приведен пример простого пакета запросов.

Этот пакет состоит из семи разных запросов, собирающих информацию о Василие Шукшине из нескольких источников, среди которых есть поисковики, Википедия, точный поиск в новостях Яндекса, метапоиск и поиск упоминаний на ТВ и радиостанциях. Для каждого источника прописана своя глубина поиска в страницах. Подробнее о пакетах - во введении в SiteSputnik, наглядно - на видео: совместное и раздельное выполнение запросов. Нет аналогов в отечественных и зарубежных разработках.

• Пакеты с параметрами. Любые запросы и пакеты запросов, предназначенные для решения стандартных поисковых задач, например, поиск по телефону, ФИО или e-mail, - могут быть параметризованы, сохранены и выполнены из библиотеки готовых запросов с подстановкой фактических значений параметров. Каждый пакет с параметрами - это собственная специальная расширенная форма поиска. В ней можно задействовать не один, а несколько поисковиков. Можно создать очень сложные по своему функциональному назначению формы. Чрезвычайно важно, что формы могут быть созданы самими пользователями, без участия автора программы или программиста. Предельно просто об этом написано в инструкции, подробнее в отдельной публикации о параметризации поиска и на форуме, наглядно на видео: поиск сразу по всем вариантам записи номера мобильного телефона и по нескольким вариантам записи адреса электронной почты. Нет аналогов.

• Ассемблер ^NEW - сборка поискового задания из нескольких готовых: запросов, пакетов запросов и пакетов с параметрами. Пакеты могут в своем тексте содержать другие пакеты. Глубина вложенности пакетов неограничена. Можно составить несколько поисковых заданий, например, о нескольких юридических и физических лицах, и выполнить эти задания одновременно. Подробнее на форуме и в отдельной публикации об ассемблере, наглядно на видео. Нет аналогов.

• Мастер подключения новых источников информации позволяет пользователю самостоятельно подключать поиск по тем ресурсам, которые ему необходимы, а также RSS-потоки и произвольные веб-страницы, что особенно важно при мониторинге СМИ и новостных источников. Подключенные при помощи Мастера источники могут быть задействованы во всех компонентах программы СайтСпутник наравне со встроенными поисковиками. Подробнее в отдельной публикации о Мастере.

• Экспорт-импорт поисковиков и сценариев поиска позволяет выгружать в файл подключенные при помощи Мастера отдельные поисковики и целые сценарии поиска и загружать из файла их на другом компьютере. Это значительно упрощает работу пользователя и позволяет организовать общими усилиями доступную для всех библиотеку поисковиков и сценариев поиска. Подробнее в отдельной публикации об экспорте-импорте.

• Метапоиск - выполнение конкретного запроса одновременно на нескольких источниках на заданную "глубину" поиска для каждого из них. Возможен метапоиск по встроенным поисковикам, к которым относятся Яндекс, Рамблер, Google, Yahoo, MSN (Bing), Mail, Апорт, блоги Яндекса и Google, и по подключенным средствам поиска. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. Повторно найденные ссылки удаляются. Наглядно метапоиск по трем подключенным социальным сетям: VKontakte, Twitter и Youtube, - показан на видео.

• Метапоиск по сайту - объединение поиска по сайту в Google, Yahoo, Яндексе, MSN (Bing). Наглядно на видео.

• Метапоиск в офисных документах - объединение поиска в файлах формата PDF, XLS, DOC, RTF, PPT, FLASH в Google, Yahoo, Яндексе, MSN (Bing). Можно выбрать любую комбинацию форматов файлов.

• Метапоиск кэш-копий ссылок в Яндексе, Google, Yahoo, MSN (Bing). Составляется список, в каждом пункте которого собраны все сниппеты, найденные для каждой ссылки каждым поисковиком. Нет аналогов.

• Глубокий поиск для Яндекса, Google и Рамблера позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)". Подробнее о глубоком поиске на форуме. Нет аналогов.

• Универсальный поиск (универсальный язык запросов) применяется для встроенных поисковиков: Яндекса, Рамблера, Google, Yahoo, MSN (Bing), Mail и Апорта. Возможности универсального поиска сопоставимы с возможностями расширенного поиска этих поисковиков. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. Повторно найденные ссылки удаляются. Подробнее в отдельной публикации об универсальном поиске.

• Точный и полный поиск. Точный поиск обеспечивает на 100% использование возможностей языков запросов каждого поисковика, конкретный запрос, в том числе и любой запрос из пакета, может быть задан и выполнен на конкретном поисковике и только на нем. Объединенные в пакет несколько таких запросов, в которых задействованы встроенные и подключенные средства поиска, позволяют максимально полно "запрограммировать" и выполнить задачу поиска и сбора информации на заданную тему. Каждый запрос - точный поиск, совокупность точных запросов - полный поиск. Повторно найденные ссылки удаляются. Подробнее в отдельной публикации о процедурном поиске. Нет аналогов.

• Поиск в невидимом интернете^NEW включает в себя следующие базовые функции: поиск невидимых ссылок при помощи спайдера (паука), поиск невидимых ссылок в окрестности видимой ссылки или папки по "образу и подобию", поиск невидимых ссылок в папках открытых и папках, вложенных в открытые папки, поиск невидимых ссылок и папок со стандартными именами с использованием специальных словарей. Подробнее в отдельной публикации по SiteSputnik Invisible. Базовые функции "хорошо известны в узких кругах", но способ их применения аналогов не имеет.



Функции мониторинга информации.

• Мониторинг на предмет появления в интернете новых ссылок по заданной теме. Мониторить появление новых ссылок можно при помощи целых пакетов запросов, в которых задействованы любые упомянутые выше методы поиска, а не отдельные первые страницы поисковиков. Реализовано объединение и пересечение новых ссылок из нескольких отдельных поисков. Подробнее в публикации о мониторинге (см. § 1) и на форуме. Нет аналогов.

• Формирование собственных новостных лент. Оно происходит в два этапа: синтез и анализ информационного потока. Синтез потока, содержащего "крупицы" нужной информации, осуществляется не только из имеющихся на сайтах RSS-потоков, но и из встроенных в сайты поисков и cэмулированных RSS-потоков с произвольных страниц сайтов. Анализ сформированного потока осуществляется при помощи Рубрикатора, который обеспечивает автоматическое раскладывание контентов новостей по "полочкам" (по темам) и формирование полнотекстовых тематических новостных лент. Важное уточнение: под новостью понимается не только собственно новостной контент, но и подобные контенты, например, новая информация по научно-техническим, экономическим, юридическим, финансовым, спортивным и другим вопросам. Подробнее в отдельной публикации о мониторинге СМИ и новостных источников.

• Клиентские папки^NEW позволяют сотрудникам предприятия разных подразделений по одному клику мышки получать новую информацию по своей специальности (это описанные в предыдущем пункте тематические новостные ленты) по факту её появления в открытых источниках интернета. Реализована автоматическая E-mail рассылка тематических новостных лент. Подробнее в отдельной публикации: Организация информационного обеспечения предприятия.

• Коллективная обработка информации^NEW. Создание корпоративной или профессиональной сети для коллективного сбора, мониторинга и анализа информации. Участниками и создателями такой сети являются сотрудники корпорации, члены профессионального сообщества или группы по интересам. Географическое расположение участников не имеет значение. Подробнее в отдельной публикации об организации сети коллективного сбора, мониторинга и анализа информации.

• Мониторинг на нескольких компьютерах^NEW. Круглосуточный мониторинг источников информации (сайтов) с использованием нескольких компьютеров. Подробнее в отдельной публикации - круглосуточный мониторинг.

• Мониторинг ссылок (веб-страниц) на предмет обнаружения изменений в их содержании (контенте). Бета версия. Найденные изменения выделяются цветом и специальными знаками. Подробнее в отдельной публикации о мониторинге (см. § 2 и 3).



Функции анализа информации.

• Рубрикация материалов достаточно подробно описана выше.

• Фактическая релевантность. Существует возможность упорядочить ссылки в порядке близком со значимостью этих ссылок по отношению к решаемой задаче, обойдя уловки веб-мастеров и другие способы повышения рейтинга сайтов в поисковиках. Это достигается на основе анализа результатов выполнения нескольких "разноплановых" запросов на заданную тему. Вычисляются, в прямом смысле этого слова, ссылки, содержащие максимум искомой информации. Подробнее в описании способа поиска оптимального поставщика и на форуме. Нет аналогов.

• Вычисление связей объектов - поиск ссылок, ресурсов (площадок), папок и доменов, на которых упоминаются (пересекаются) объекты. Наиболее распространенные объекты - это люди и фирмы. Для поиска связей могут быть задействованы все упомянутые на этой странице средства программы SiteSputnik, что значительно повышает эффективность проделанной Вами работы. Операция выполняется над любым количеством объектов. Подробнее во введении в программу, а также в описании новой функции "объекты и их связи". Нет аналогов.

• Формирование, объединение и пересечение потоков информации на самые различные темы, сопоставление потоков. Подробнее в отдельной публикации о потоках.

• Построение веб-карт сайтов, ресурсов, папок и искомых объектов на основе найденных в интернете при помощи Google, Yahoo, Яндекса, MSN (Bing) и Altavista ссылок, принадлежащих сайту. Специалисты могут узнать: не видно ли "лишней" информации из интернета на их сайтах, а также исследовать на этот предмет сайты конкурентов. Веб-карта сайта - это материализация видимого интернета. Подробнее в отдельной публикации о построении веб-карт, наглядно на видео. Нет аналогов.

• Поиск контактной информации предприятий в открытых источниках. Список предприятий может быть любой длины. Контактная информация: адрес, номера телефонов и факсов, e-mail. Подробнее в отдельной публикации о поиске контактной информации.



Сервисные функции.

• Планировщик задач (Scheduler) обеспечивает работу по расписанию: выполняет в заданное время, из заданных баз данных, заданные функции программы. Подробнее в отдельной публикации о Планировщике.

• Автоматическая архивация. В базах данных автоматически запоминаются все результаты Вашей работы, а именно: запросы, пакеты запросов, протоколы поиска и мониторинга, ..., любые другие вышеперечисленные функции и результаты их выполнения. Можно структурировать работу по темам, подтемам или другим критериям. Нет аналогов.

• База данных включает сортировки, простой поиск и произвольный поиск по SQL-запросу. Для последнего имеется мастер составления SQL-запросов. Используя эти средства, можно найти и ознакомиться с той работой, которую Вы делали вчера, в прошлом месяце, год назад, определить в качестве критерия поиска тему или задать другой критерий поиска по собержанию базы данных.

• Технические ограничения поисковиков. Некоторые ограничения, связанные, например, с длиной строки запроса, могут быть преодолены. О способе преодоления нарушения закона аддитивности для основных поисковиков можно прочитать здесь. Для одного слова или одной фразы, взятой в кавычки, реализован поиск в поисковиках с учетом регистра, в частности, поиск по аббревиатуре.

• Встроенный браузер. Навигатор по страницам. Многоцветный маркер для выделения ключевых и произвольных слов. Билистинг и N-листинг из сформированных документов.

• Легкий инструмент для сбора фрагментов из офисных документов без изменения исходного формата фрагментов.

• Инструмент для сравнительного анализа выдачи поисковиков.

---

Математики, аналитики и другие пользователи могут применить еще три операции над найденными ссылками.
• Метаобъединение - возможность объединения результатов поиска для разных искомых объектов (запросов), независимо от того, относятся ли они к одной теме или нет. Реализованное в программе SiteSputnik метаобъединение шире, чем объединение, применяемое в математике в теории множеств, - для каждого элемента множества метаобъединение (найденной ссылки) вычисляется его вес, равный количеству множеств (запросов), которым этот элемент принадлежит (при помощи которых он был найден). Элементы метаобъединения (ссылки) упорядочиваются в порядке убывания их веса (количества запросов, которыми они были найдены).
• Метапересечение - возможность пересечения результатов поиска для разных искомых объектов, независимо от того, относятся ли они к одной теме или нет. Реализованное в программе СайтСпутник метапересечение шире, чем пересечение, применяемое в математике в теории множеств, - кроме "чисто" математического пересечения еще вычисляются все комбинации множеств элементов, содержащие меньшее количество элементов, чем количество множеств, участвующих в пересечении. "Нестрого" говоря, вычисляются еще все неполные пересечения объектов.
• Взятие разности - над двумя множествами ссылок. Можно "вычислить" только те ссылки из первого множества (ссылки найдены по запросу), которые не принадлежат второму множеству (найдены по другому запросу). Подробнее на форуме.

Установка описана в пункте 1.

Программа будет работать на любом компьютере, на котором установлен Windows любой версии.

Требуется, чтобы в Windows присутствовал Internet Explorer.

Автор в настоящее время использует Windows 7 и Internet Explorer 9.

Прайс-лист для юридических и физических лиц размещен на отдельной странице.

• Адаптация приложения FileForFiles & SiteSputnik под специальные потребности заказчика.
• к.т.н. Мыльников А.Б.: "Поиск, сбор, мониторинг и анализ информации в интернете", - авторские курсы.

Электрoнная пoчта: 1a@sitesputnik.ru и ab@vlink.ru,
тел./факс: +7(8442)79-52-42, сот.: +7(905)392-97-92, г. Волгоград,
индивидуальный предприниматель Мыльников Алексей Борисович.

Добровольная финансовая поддержка проекта может быть осуществлена через Qiwi-кошелёк: 9053929792