SiteSputnik. Построение веб-карты сайта,
SiteSputnik. ресурса и искомого объекта.
Автор
Алексей Мыльников
Дата выхода публикации - 26.02.09г.     
Последнее изменение - 02.01.12г.     



Замечание от 22.07.2010г.
Рекомендую предварительно ознакомиться с публикацией Бориса Львовича Воронцова (ООО "Информант", г. Нижний Новгород): "СайтСпутник, как инструмент Интернет-разведки. Часть 1.", - в которой очень ясно и понятно раскрывается назначение веб-карты сайта и приводится ее самое новое содержание.

Также ознакомьтесь с содержанием ссылки карта для сайта sitesputnik.ru.
Основные понятия, терминология и сокращения.
Веб-карта сайта. В настоящей публикации это упорядоченная иерархическая структура сайта или ресурса, видимая из интернета.

Веб-карта объекта. Под этим понимается упорядоченная структура веб-страниц, на которых размещена информация, связанная с искомым объектом. Другими словами, это структура веб-страниц, на которых найдена информация при решении конкретной задачи поиска в интернете. Неисключено, что для решения поисковой задачи потребуется выполнить несколько запросов.

Карта. Веб-карты сайтов, ресурсов и искомых объектов будем сокращенно называть картами.


Назначение, цели.
Назначение.
Рассматриваемая функция SiteSputnik''а предназначена для построения веб-карт сайтов, ресурсов и искомых объектов исключительно на основе открытой в интернете информации. Вся работа осуществляется при помощи поисковиков: Google, Yahoo, MSN, Яндекса и поиска в блогах Google. Соответственно, открытия или скачивания страниц исследуемого сайта или объекта не происходит.

Цели.
  • Мониторинг собственных ресурсов на предмет: не видно ли на них из интернета "лишней" и доступной посторонним лицам информации.
  • Аналитикам, маркетологам, специалистам конкурентой разведки интересно исследовать на этот предмет и ресурсы конкурентов.
  • На веб-карте объекта можно увидеть те места в структуре ресурсов, на которых обнаружено "скопление" значимой информации.
  • Карта может подсказать имена ресурсов, которые по тем или иным причинам не попали в поле зрения поисковиков.


  • Карта сайта - это материализация видимого интернета. Пояснения и приложение этого тезиса приводятся ниже.

  • Последовательность действий пользователя и результаты работы.
    1. Построение веб-карты сайта и ресурса.
    1. Обращаемся к подменю "Золотого ключика" и выбираем пункт   Карта сайта    Базовая  . На картинке этот пункт отмечен галочкой красного цвета.

      Карта сайта SiteSputnik

    2. Получает следующую картинку.

      Dr. Web. Доктор Веб, СайтСпутник

      На ней вводим имя сайта, ресурса или папки и нажимаем на кнопку  Карта .
      Это все действия, которые требуются от пользователя. Остальное сделает программа.

      На картинке выше задано построение карты для ресурса partners.drweb.com. Для построения карты сайта, на котором размещен данный ресурс, следовало бы ввести drweb.com, а построение карты папки можно осуществить, например, по такому запросу partners.drweb.com/files.

    3. Далее ожидаем окончания процесса поиска и оформления его результатов в виде карты. Как минимум, рекомендуется дождаться выполнения 7 базовых запросов. По мере нахождения значимой информации об исследуемом ресурсе, SiteSputnik на ее основе автоматически создает и выполняет новые запросы. Максимальное количество создаваемых запросов практически неограничено. Чем больше выполнено запросов, тем меньше новой информации приносит СайтСпутник. Для того, чтобы остановить процесс сбора информации и перейти к составлению карты, нажмите на расположенный в правом нижнем углу "Красный шарик".
      Карта сайта SiteSputnik

      В правом верхнем углу окна программы (смотрите картинку, расположенную ниже) в процессе поиска выдается информация о порядковом номере выполняемого запроса (7), общем количестве запросов, которое прописано выполнить (10), количестве найденных на данный момент уникальных ссылок (224), имени очередного работающего поисковика (Yahoo), о порядковом номере открываемой страницы поисковика (16) и максимальном количестве страниц, которое прописано открыть для этого поисковика (100). Если в процессе поиска, количество уникальных ссылок "долго" не изменяется, то это тоже может послужить поводом для остановки поиска при помощи "Красного шарика". Если Вы позволили СайтСпутник''у собрать очень много ссылок, то на их обработку может быть затрачен длительный промежуток времени.
      Счетчик СайтСпутник

    4. Дождавшись окончания поиска, мы получим размещенную ниже карту. Это не картинка, а реальный html-код, созданный SiteSputnik''ом 19 февраля 2009 года. Вы можете открыть любую страницу из карты прямо из читаемого сейчас Вами текста.

      FileForFiles & SiteSputnik: аналитика, связи объектов, отчеты - 19.02.2009 12:12:06.
      Карта ресурса "partners.drweb.com"
      .

         № Ресурс и его карта Вес
      1 partners.drweb.com 1
      2 partners.drweb.com/?city=9&country=159&i=on 1
      3 partners.drweb.com/?city=83&country=159&i=on 1
      4 partners.drweb.com/?city=87&country=159&i=on 1
      5 partners.drweb.com/?city=92&country=159&i=on 1
      6 partners.drweb.com/?city=103&country=159&i=on 1
      7 partners.drweb.com/?city=112&country=159&i=on 1
      8 partners.drweb.com/?city=114&country=159&i=on 1
      9 partners.drweb.com/?city=117&country=159&i=on 1
      10 partners.drweb.com/?city=120&country=159&i=on 1
      11 partners.drweb.com/?city=145&country=159&i=on 1
      12 partners.drweb.com/?city=150&country=159&i=on 1
      13 partners.drweb.com/?city=160&country=159&i=on 1
      14 partners.drweb.com/?city=167&country=159&i=on 1
      15 partners.drweb.com/?city=181&country=159&i=on 1
      16 partners.drweb.com/?city=188&country=159&i=on 1
      17 partners.drweb.com/?city=189&country=159&i=on 1
      18 partners.drweb.com/?city=193&country=159&i=on 1
      19 partners.drweb.com/?city=200&country=159&i=on 1
      20 partners.drweb.com/?city=208&country=159&i=on 1
      21 partners.drweb.com/?city=211&country=159&i=on 1
      22 partners.drweb.com/?city=219&country=159&i=on 1
      23 partners.drweb.com/?city=232&country=159&i=on 1
      24 partners.drweb.com/?city=234&country=159&i=on 1
      25 partners.drweb.com/?city=238&country=159&i=on 1
      26 partners.drweb.com/?city=240&country=159&i=on 1
      27 partners.drweb.com/?city=248&country=159&i=on 1
      28 partners.drweb.com/?city=250&country=159&i=on 1
      29 partners.drweb.com/?city=251&country=159&i=on 1
      30 partners.drweb.com/?city=255&country=159&i=on 1
      31 partners.drweb.com/?city=278&country=159&i=on 1
      32 partners.drweb.com/?city=279&country=159&i=on 1
      33 partners.drweb.com/?city=309&country=159&i=on 1
      34 partners.drweb.com/?city=316&country=159&i=on 1
      35 partners.drweb.com/?city=332&country=159&i=on 1
      36 partners.drweb.com/?city=459&country=159&i=on 1
      37 partners.drweb.com/?city=583&country=159&i=on 1
      38 partners.drweb.com/?city=602&country=159&i=on 1
      39 partners.drweb.com/?city=620&country=159&i=on 1
      40 partners.drweb.com/?city=687&country=159&i=on 1
      41 partners.drweb.com/?city=722&country=159&i=on 1
      42 partners.drweb.com/?city=746&country=159&i=on 1
      43 partners.drweb.com/?city=750&country=159&i=on 1
      44 partners.drweb.com/?city=752&country=159&i=on 1
      45 partners.drweb.com/?i=on&bt=p 1
      46 partners.drweb.com/?i=on&bt=p&country=159&city=9 1
      47 partners.drweb.com/?i=on&bt=p&country=159&city=117 1
      48 partners.drweb.com/?i=on&bt=p&country=159&city=189 1
      49 partners.drweb.com/?i=on&bt=p&country=159&city=316 1
      50 partners.drweb.com/?lng=de 1
      51 partners.drweb.com/?lng=ru 1
      52 partners.drweb.com/actions?lng=en 1
      53 partners.drweb.com/actions?lng=ru 1
      54 partners.drweb.com/joinus?lng=en 1
      55 partners.drweb.com/joinus?lng=ru 1
      56 partners.drweb.com/nopartner?lng=ru 1
      57 partners.drweb.com/partners_list_geo?countryid=204 1
      58 partners.drweb.com/partners_list_geo?lng=en 1
      59 partners.drweb.com/actions 1
      60 partners.drweb.com/actions/?lng=en 1
      61 partners.drweb.com/actions/?lng=ru 1
      62 partners.drweb.com/actions/archive 1
      63 partners.drweb.com/actions/catch+monitor+with+drweb+antivirus/?lng=en 1
      64 partners.drweb.com/actions/catch+monitor+with+drweb+antivirus/?lng=ru 1
      65 partners.drweb.com/affiliate 1
      66 partners.drweb.com/affiliate/?lng=en 1
      67 partners.drweb.com/affiliate/?lng=pl 1
      68 partners.drweb.com/affiliate/?lng=ru 1
      69 partners.drweb.com/affiliate/faq 1
      70 partners.drweb.com/affiliate/graphics 1
      71 partners.drweb.com/affiliate/graphics 1
      72 partners.drweb.com/affiliate/graphics/%E2%80%9D%E2%80%9D 1
      73 partners.drweb.com/affiliate/graphics/?lng=de 1
      74 partners.drweb.com/affiliate/graphics/?lng=ru 1
      75 partners.drweb.com/affiliate/texts 1
      76 partners.drweb.com/affiliate/texts 1
      77 partners.drweb.com/affiliate/texts/?lng=de 1
      78 partners.drweb.com/affiliate/texts/?lng=ru 1
      79 partners.drweb.com/affiliates/?lng=en 1
      80 partners.drweb.com/aj/?w=c&bt= 1
      81 partners.drweb.com/aj/?w=ci&bt= 1
      82 partners.drweb.com/en/?lng=en 1
      83 partners.drweb.com/files 1
      84 partners.drweb.com/files/186x112.swf 1
      85 partners.drweb.com/files/186x112_4_eng.swf 1
      86 partners.drweb.com/files/186x112_green.swf 1
      87 partners.drweb.com/files/186x112_green_eng.swf 1
      88 partners.drweb.com/files/300x250_RBK.swf 1
      89 partners.drweb.com/files/468x60_green.swf 1
      90 partners.drweb.com/files/468x60_green_eng.swf 1
      91 partners.drweb.com/files/600x90_RBK.swf 1
      92 partners.drweb.com/files/600x500_RBK.swf 1
      93 partners.drweb.com/files/affiliates.doc 1
      94 partners.drweb.com/files/antivirus_4_44_Ukr_cur.eps 1
      95 partners.drweb.com/files/antivirus_6cm_4_44m_new.eps 1
      96 partners.drweb.com/files/AV_AS_4_44_Ukr_cur.eps 1
      97 partners.drweb.com/files/AV_AS_6cm_4_44m_new1.eps 1
      98 partners.drweb.com/files/basion_468x60.swf 1
      99 partners.drweb.com/files/brief_descriptions_en.doc 1
      100 partners.drweb.com/files/brief_descriptions_ru.doc 1
      101 partners.drweb.com/files/cureitRus_240x400.swf 1
      102 partners.drweb.com/files/datasheet_av_win_g_de.pdf 1
      103 partners.drweb.com/files/datasheet_es_g.pdf 1
      104 partners.drweb.com/files/datasheet_lotus_ru.pdf 1
      105 partners.drweb.com/files/doc_2for1.doc 1
      106 partners.drweb.com/files/Dr.Web_AV_AS_Win_de.pdf 1
      107 partners.drweb.com/files/DrWeb_antivirus_5_0_eng.rtf 1
      108 partners.drweb.com/files/DrWEB_ESuite_de.pdf 1
      109 partners.drweb.com/files/DrWEB_License_eng.pdf 1
      110 partners.drweb.com/files/DrWEB_Licensing_guide_v_10_1_eng.pdf 1
      111 partners.drweb.com/files/DrWEB_Licensing_guide_v_10_1_rus.pdf 1
      112 partners.drweb.com/files/drweb_lotus_eng.pdf 1
      113 partners.drweb.com/files/DrWEB_mimesweeper_de.pdf 1
      114 partners.drweb.com/files/DrWEB_PreSale_English.doc 1
      115 partners.drweb.com/files/DrWEB_PreSale_Russia.doc 1
      116 partners.drweb.com/files/DrWeb_Security_Space_5_0_eng.rtf 1
      117 partners.drweb.com/files/edu_program2.pdf 1
      118 partners.drweb.com/files/index_en.html 1
      119 partners.drweb.com/files/index_ru.html 1
      120 partners.drweb.com/files/license_4444_ru.pdf 1
      121 partners.drweb.com/files/LicenziaE.pdf 1
      122 partners.drweb.com/files/listovka_ex_server_en.pdf 1
      123 partners.drweb.com/files/listovka_ex_server_eng.pdf 1
      124 partners.drweb.com/files/listovka_ex_server_ru.pdf 1
      125 partners.drweb.com/files/listovka_mail_unix_en.pdf 1
      126 partners.drweb.com/files/listovka_mail_unix_eng.pdf 1
      127 partners.drweb.com/files/listovka_mail_unix_ru.pdf 1
      128 partners.drweb.com/files/listovka_security_space_en.pdf 1
      129 partners.drweb.com/files/listovka_security_space_ru.pdf 1
      130 partners.drweb.com/files/listovka_suite_eng.pdf 1
      131 partners.drweb.com/files/listovka_suite_ru.pdf 1
      132 partners.drweb.com/files/listovka_unix_eng.pdf 1
      133 partners.drweb.com/files/listovka_unix_gateway_en.pdf 1
      134 partners.drweb.com/files/listovka_unix_gateway_ru.pdf 1
      135 partners.drweb.com/files/listovka_win_eng.pdf 1
      136 partners.drweb.com/files/listovka_win_ru.pdf 1
      137 partners.drweb.com/files/manual_rus_444_2008.pdf 1
      138 partners.drweb.com/files/manual_windows_ger.pdf 1
      139 partners.drweb.com/files/OR_partnership_eng.pdf 1
      140 partners.drweb.com/files/OR_partnership_rus.pdf 1
      141 partners.drweb.com/files/out0001.css 1
      142 partners.drweb.com/files/perehodi_rus_2008.pdf 1
      143 partners.drweb.com/joinus 1
      144 partners.drweb.com/files/prezent_2for1.ppt 1
      145 partners.drweb.com/files/renew_2008.pdf 1
      146 partners.drweb.com/files/retailer_booklet.pdf 1
      147 partners.drweb.com/files/switch_eng_2008.pdf 1
      148 partners.drweb.com/files/banner/cureitRus_120x240_en.swf 1
      149 partners.drweb.com/files/banner/smallBiz_170x190_en.swf 1
      150 partners.drweb.com/files/banner/smallBiz_237x184.swf 1
      151 partners.drweb.com/files/banner/smallBiz_360x150.swf 1
      152 partners.drweb.com/files/banner/smallBiz_360x150_en.swf 1
      153 partners.drweb.com/files/banner/voprosy_bl.swf 1
      154 partners.drweb.com/files/banner/voprosy_green.swf 1
      155 partners.drweb.com/joinus 1
      156 partners.drweb.com/joinus/?lng=de 1
      157 partners.drweb.com/joinus/?lng=pl 1
      158 partners.drweb.com/joinus/?var=9&action=step1 1
      159 partners.drweb.com/language/ru/L2FjdGlvbnMv 1
      160 partners.drweb.com/list 1
      161 partners.drweb.com/list 1
      162 partners.drweb.com/nopartner 1
      163 partners.drweb.com/partners/files/?lng=ru 1
      164 partners.drweb.com/partners/graphics 1
      165 partners.drweb.com/partners/info/?lng=en 1
      166 partners.drweb.com/partners_list_geo 1
      167 partners.drweb.com/partners_list_geo/?countryid=5®ion=&lng=en 1
      168 partners.drweb.com/partners_list_geo/?countryid=7®ion= 1
      169 partners.drweb.com/partners_list_geo/?countryid=7&region=3 1
      170 partners.drweb.com/partners_list_geo/?countryid=7®ion=3&lng=en 1
      171 partners.drweb.com/partners_list_geo/?countryid=7®ion=&lng=ru 1
      172 partners.drweb.com/partners_list_geo/?countryid=8®ion=1&lng=en 1
      173 partners.drweb.com/partners_list_geo/?countryid=8&region=2&lng=en 1
      174 partners.drweb.com/partners_list_geo/?countryid=8®ion=&lng=en 1
      175 partners.drweb.com/partners_list_geo/?countryid=10®ion=1&lng=de 1
      176 partners.drweb.com/partners_list_geo/?countryid=11®ion= 1
      177 partners.drweb.com/partners_list_geo/?countryid=11&region=1&lng=en 1
      178 partners.drweb.com/partners_list_geo/?countryid=11®ion=&lng=en 1
      179 partners.drweb.com/partners_list_geo/?countryid=12®ion=&lng=en 1
      180 partners.drweb.com/partners_list_geo/?countryid=18®ion=&lng=en 1
      181 partners.drweb.com/partners_list_geo/?countryid=26®ion=3&lng=en 1
      182 partners.drweb.com/partners_list_geo/?countryid=28 1
      183 partners.drweb.com/partners_list_geo/?countryid=28&region=1&lng=en 1
      184 partners.drweb.com/partners_list_geo/?countryid=28®ion=&lng=ru 1
      185 partners.drweb.com/partners_list_geo/?countryid=34®ion=&lng=en 1
      186 partners.drweb.com/partners_list_geo/?countryid=35®ion=7&lng=en 1
      187 partners.drweb.com/partners_list_geo/?countryid=37®ion=1&lng=en 1
      188 partners.drweb.com/partners_list_geo/?countryid=37&region=7&lng=en 1
      189 partners.drweb.com/partners_list_geo/?countryid=37®ion=&lng=en 1
      190 partners.drweb.com/partners_list_geo/?countryid=40®ion=2&lng=en 1
      191 partners.drweb.com/partners_list_geo/?countryid=40®ion=&lng=en 1
      192 partners.drweb.com/partners_list_geo/?countryid=47®ion=1&lng=en 1
      193 partners.drweb.com/partners_list_geo/?countryid=47®ion=&lng=en 1
      194 partners.drweb.com/partners_list_geo/?countryid=49®ion=&lng=en 1
      195 partners.drweb.com/partners_list_geo/?countryid=50 1
      196 partners.drweb.com/partners_list_geo/?countryid=55 1
      197 partners.drweb.com/partners_list_geo/?countryid=55&region=3&lng=en 1
      198 partners.drweb.com/partners_list_geo/?countryid=60®ion= 1
      199 partners.drweb.com/partners_list_geo/?countryid=60&region=1 1
      200 partners.drweb.com/partners_list_geo/?countryid=63®ion=&lng=en 1
      201 partners.drweb.com/partners_list_geo/?countryid=64®ion=1&lng=en 1
      202 partners.drweb.com/partners_list_geo/?countryid=64®ion=&lng=ru 1
      203 partners.drweb.com/partners_list_geo/?countryid=69®ion= 1
      204 partners.drweb.com/partners_list_geo/?countryid=70®ion=&lng=ru 1
      205 partners.drweb.com/partners_list_geo/?countryid=72®ion=&lng=en 1
      206 partners.drweb.com/partners_list_geo/?countryid=72®ion=&lng=ru 1
      207 partners.drweb.com/partners_list_geo/?countryid=86 1
      208 partners.drweb.com/partners_list_geo/?countryid=88®ion=2 1
      209 partners.drweb.com/partners_list_geo/?countryid=88®ion=2&lng=de 1
      210 partners.drweb.com/partners_list_geo/?countryid=88®ion=&lng=ru 1
      211 partners.drweb.com/partners_list_geo/?countryid=90 1
      212 partners.drweb.com/partners_list_geo/?countryid=90&region= 1
      213 partners.drweb.com/partners_list_geo/?countryid=94®ion=&lng=en 1
      214 partners.drweb.com/partners_list_geo/?countryid=96®ion=2&lng=de 1
      215 partners.drweb.com/partners_list_geo/?countryid=96®ion=&lng=en 1
      216 partners.drweb.com/partners_list_geo/?countryid=99 1
      217 partners.drweb.com/partners_list_geo/?countryid=99&region=1 1
      218 partners.drweb.com/partners_list_geo/?countryid=99®ion=1&lng=de 1
      219 partners.drweb.com/partners_list_geo/?countryid=99&region=2&lng=en 1
      220 partners.drweb.com/partners_list_geo/?countryid=99®ion=&lng=ru 1
      221 partners.drweb.com/partners_list_geo/?countryid=99®ion=&lng=ru&cityid=548 1
      222 partners.drweb.com/partners_list_geo/?countryid=99®ion=&lng=ru&cityid=669 1
      223 partners.drweb.com/partners_list_geo/?countryid=99®ion=&lng=ru&cityid=680 1
      224 partners.drweb.com/partners_list_geo/?countryid=103®ion=1&lng=en 1
      225 partners.drweb.com/partners_list_geo/?countryid=103®ion=&lng=en 1
      226 partners.drweb.com/partners_list_geo/?countryid=104®ion=&lng=en 1
      227 partners.drweb.com/partners_list_geo/?countryid=105®ion=&lng=ru 1
      228 partners.drweb.com/partners_list_geo/?countryid=107®ion= 1
      229 partners.drweb.com/partners_list_geo/?countryid=113 1
      230 partners.drweb.com/partners_list_geo/?countryid=114®ion=1&lng=en 1
      231 partners.drweb.com/partners_list_geo/?countryid=114®ion=&lng=en 1
      232 partners.drweb.com/partners_list_geo/?countryid=115®ion=&lng=en 1
      233 partners.drweb.com/partners_list_geo/?countryid=116®ion=1&lng=en 1
      234 partners.drweb.com/partners_list_geo/?countryid=119®ion=&lng=en 1
      235 partners.drweb.com/partners_list_geo/?countryid=122®ion=&lng=en 1
      236 partners.drweb.com/partners_list_geo/?countryid=127®ion= 1
      237 partners.drweb.com/partners_list_geo/?countryid=129®ion=&lng=en 1
      238 partners.drweb.com/partners_list_geo/?countryid=144®ion=&lng=en 1
      239 partners.drweb.com/partners_list_geo/?countryid=148®ion=3&lng=en 1
      240 partners.drweb.com/partners_list_geo/?countryid=148®ion=&lng=en 1
      241 partners.drweb.com/partners_list_geo/?countryid=153 1
      242 partners.drweb.com/partners_list_geo/?countryid=153&region= 1
      243 partners.drweb.com/partners_list_geo/?countryid=153&region=1 1
      244 partners.drweb.com/partners_list_geo/?countryid=153®ion=1&lng=de 1
      245 partners.drweb.com/partners_list_geo/?countryid=153®ion=1&lng=en 1
      246 partners.drweb.com/partners_list_geo/?countryid=154 1
      247 partners.drweb.com/partners_list_geo/?countryid=154&region=1&lng=en 1
      248 partners.drweb.com/partners_list_geo/?countryid=154®ion=&lng=ru 1
      249 partners.drweb.com/partners_list_geo/?countryid=156®ion=5&lng=en 1
      250 partners.drweb.com/partners_list_geo/?countryid=158®ion=&lng=en 1
      251 partners.drweb.com/partners_list_geo/?countryid=158®ion=&lng=ru 1
      252 partners.drweb.com/partners_list_geo/?countryid=159 1
      253 partners.drweb.com/partners_list_geo/?countryid=159&cityid=154 1
      254 partners.drweb.com/partners_list_geo/?countryid=159&cityid=154" 1
      255 partners.drweb.com/partners_list_geo/?countryid=159&cityid=258 1
      256 partners.drweb.com/partners_list_geo/?countryid=159&lng=ru&cityid=272 1
      257 partners.drweb.com/partners_list_geo/?countryid=159&region=&cityid=9 1
      258 partners.drweb.com/partners_list_geo/?countryid=159®ion=&cityid=160 1
      259 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=9 1
      260 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=83 1
      261 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=113 1
      262 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=120 1
      263 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=159 1
      264 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=180 1
      265 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=203 1
      266 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=236 1
      267 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=251 1
      268 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=279 1
      269 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=281 1
      270 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=316 1
      271 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=355 1
      272 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=739 1
      273 partners.drweb.com/partners_list_geo/?countryid=159®ion=&lng=ru&cityid=258 1
      274 partners.drweb.com/partners_list_geo/?countryid=174®ion= 1
      275 partners.drweb.com/partners_list_geo/?countryid=174&region=1&lng=en 1
      276 partners.drweb.com/partners_list_geo/?countryid=174®ion=&lng=ru 1
      277 partners.drweb.com/partners_list_geo/?countryid=177®ion=&lng=en 1
      278 partners.drweb.com/partners_list_geo/?countryid=178®ion=7 1
      279 partners.drweb.com/partners_list_geo/?countryid=178®ion=7&lng=en 1
      280 partners.drweb.com/partners_list_geo/?countryid=178®ion=&lng=ru 1
      281 partners.drweb.com/partners_list_geo/?countryid=179®ion=1 1
      282 partners.drweb.com/partners_list_geo/?countryid=185®ion=1 1
      283 partners.drweb.com/partners_list_geo/?countryid=185®ion=1&lng=en 1
      284 partners.drweb.com/partners_list_geo/?countryid=185®ion=&lng=en 1
      285 partners.drweb.com/partners_list_geo/?countryid=186 1
      286 partners.drweb.com/partners_list_geo/?countryid=186&region=&lng=ru 1
      287 partners.drweb.com/partners_list_geo/?countryid=187®ion=&lng=ru 1
      288 partners.drweb.com/partners_list_geo/?countryid=189®ion=&lng=en 1
      289 partners.drweb.com/partners_list_geo/?countryid=189®ion=&lng=ru 1
      290 partners.drweb.com/partners_list_geo/?countryid=199®ion=1&lng=en 1
      291 partners.drweb.com/partners_list_geo/?countryid=199®ion=&lng=en 1
      292 partners.drweb.com/partners_list_geo/?countryid=200®ion=5&lng=de 1
      293 partners.drweb.com/partners_list_geo/?countryid=200®ion=&lng=en 1
      294 partners.drweb.com/partners_list_geo/?countryid=201®ion=&lng=en 1
      295 partners.drweb.com/partners_list_geo/?countryid=202®ion=4&lng=en 1
      296 partners.drweb.com/partners_list_geo/?countryid=202®ion=&lng=en 1
      297 partners.drweb.com/partners_list_geo/?countryid=203®ion=3&lng=en 1
      298 partners.drweb.com/partners_list_geo/?countryid=207®ion=2&lng=en 1
      299 partners.drweb.com/partners_list_geo/?countryid=213®ion=1&lng=en 1
      300 partners.drweb.com/partners_list_geo/?lng=ru 1
      301 partners.drweb.com/partners_list_geo/?region=1&lng=en 1
      302 partners.drweb.com/partners_list_geo/?region=4&lng=en 1
      303 partners.drweb.com/partners_list_geo/?region=5&lng=de 1
      304 partners.drweb.com/partners_list_geo/?region=&lng=ru&countryid=17&submit=%cf%f0%ee... 1
      305 partners.drweb.com/partners_list_geo/?region=&lng=ru&countryid=204 1
      306 partners.drweb.com/pix/drweb-119x60.swf 1
      307 partners.drweb.com/pix/img/style2.css 1
      308 partners.drweb.com/providers/?lng=en 1
      309 partners.drweb.com/providers/?lng=ru 1
      310 partners.drweb.com/retail 1
      311 partners.drweb.com/retail/?lng=en 1
      312 partners.drweb.com/retail/?lng=ru 1
      313 partners.drweb.com/survey 1
      314 partners.drweb.com/survey/?id=557869 1
      315 partners.drweb.com/survey/?id=1299264 1
      316 partners.drweb.com/survey/?id=3615676 1
      317 partners.drweb.com/survey/?id=3893241 1
      318 partners.drweb.com/survey/?id=3939048 1
      319 partners.drweb.com/survey/?id=3985890 1
      320 partners.drweb.com/survey/?id=3985890&lng=en 1
      321 partners.drweb.com/survey/?id=4064785 1
      322 partners.drweb.com/survey/?id=4286310 1
      323 partners.drweb.com/survey/?id=4286310&lng=en 1
      324 partners.drweb.com/survey/?id=4451557 1
      325 partners.drweb.com/survey/?id=4947127 1
      326 partners.drweb.com/survey/?id=4947178 1
      327 partners.drweb.com/survey/?id=5528912 1
      328 partners.drweb.com/survey/?lng=ru 1
      329 partners.drweb.com/survey/?partner=595&id=3985890 1
      330 partners.drweb.com/survey/?partner=606&id=3985890 1
      331 partners.drweb.com/survey/?partner=725&id=3985890 1
      332 partners.drweb.com/survey/?partner=1447&id=3985890 1
      333 partners.drweb.com/survey/?partner=1990&id=3985890 1
      334 partners.drweb.com/survey/?partner=2185&id=3985890 1
      335 partners.drweb.com/survey/?partner=2207&id=3985890 1
      336 partners.drweb.com/survey/?partner=3000&id=3985890 1
      337 partners.drweb.com/survey/?partner=3044&id=3985890 1
      338 partners.drweb.com/survey/?partner=4145&id=3985890 1
      339 partners.drweb.com/survey/?partner=4896&id=3985890 1
      340 partners.drweb.com/survey/?partner=partnerid&id=3985890 1
      341 partners.drweb.com/survey/?partner=1355%3c/a%3e.%3c/p%3e%3cp%3e%20%20%3cbr%3e%3ca%... 1
      342 partners.drweb.com/tech_partners 1
      343 partners.drweb.com/tech_partners/?lng=en 1
      344 partners.drweb.com/tech_partners/?lng=en&lng=en 1
      345 partners.drweb.com/training_centers/?lng=ru 1
      346 partners.drweb.com/volga2007 1
      347 partners.drweb.com/volga2007/info 1


      Отчет окончен.

      Важно.
      Отладка рассматриваемой функции интенсивно проводилась в течение достаточно длительного промежутка времени. В качестве основного тестируемого объекта использовался сайт антивируса Dr. Web ("Доктор Веб"). Было выполнено очень большое количество пакетов запросов как ко всему сайту "Доктора Веба", так и к отдельным его ресурсам. Некоторые пакеты запросов специально непрерывно выполнялись друг за другом в течение нескольких часов. Несмотря на такую "нагрузку" на сайт и на то, что "Доктор Веб", являясь антивирусной программой, очень тщательно отслеживает подобные действия, он ни разу не заблокировал работу программы SiteSputnik и не сделал других предупреждающих действий. Это говорит в пользу того, что никаких обращений к ресурсам сайта "Доктор Веб" со стороны программы СайтСпутник не происходило. За все время работы, он оставался невидим для исследуемого ресурса.

      Очень важно.
      Карта сайта по сути является "материализацией" видимого интернета. В ней собраны ссылки, которые можно найти (увидеть) при помощи основных поисковиков. Карта сайта - это хороший плацдармом для поиска невидимых ссылок. Для этих целей она использовалась в специальной версии программы, получившей название SiteSputnik Invisible.

    2. Построение веб-карты запроса и его составляющий.

    3. Построение веб-карты искомого объекта.
      Достаточно часто, для сбора информации об искомом объекте требуется выполнить не один, а несколько запросов или пакетов запросов.
      В этом пункте рассматривается способ построения веб-карты для такого случая.

      Выполните несколько простых, универсальных или процедурных запросов в программе СайтСпутник и проведите над полученными результатами операцию аналитическое объединение (АО). Начиная с версии SiteSputnik 5.2, в АО дополнительно реализовано построение веб-карты объекта - все ссылки из всех запросов будут сгруппированы и упорядочены по рассмотренному выше принципу, а именно, будет построено несколько карт сайтов, точнее только тех их составляющих, на которых обнаружена искомая информация. Одинаковые участки не будут повторяться.


      Обращение к АО можно выполнить из подменю "Глобуса с линзой", выбрав пункт  групповые операции  Аналитическое объединение . Оно выполняется над теми запросами, для которых в колонке "Обновить" верхней таблицы установлено значение "Да". Подробнее об этой операции можно прочитать в "Полевых испытаниях программы SiteSputnik" и в авторской публикации "SiteSputnik. Простой запрос, пакет запросов, аналитическое объединение".

      Важно.
      1. При построении веб-карты объекта для каждой ссылки, ресурса и папки вычисляется ее вес. Он равен количеству запросов, в которых эти ссылки, ресурсы и папки были найдены. Именно этот вес показывает те участки карты, где обнаружено "скопление" искомой информации. При построении карты сайта (см. пример выше) вес всегда равен 1, так как все запросы, участвующие в сборе информации, выполняются с объединением результатов поиска и, соответственно, рассматриваются как один "большой" запрос.
      2. Даже при одинаковом весе ссылок, на "скопление" искомой информации указывают те участки карты, структура которых более объемная. Например, по картинке Карта запроса можно предположить, что на ресурсе ab.vlink.ru размещено больше искомой информации, чем на других ресурсах.
      3. Отдельно составленные карты могут быть "склеены" посредсвом операции АО. Одинаковые участки не будут повторяться.


    Список литературы.
    Приложение FileForFiles & SiteSputnik хорошо документировано. Полный список публикаций по программе: инструкции, очерки, статьи, отзывы, пресс-релизы, обсуждения на нескольких форумах, полевые испытания, - собран на этой странице.

    О сотрудничестве.
    Ваши предложения по развитию программы можно обсудить с автором.
    Пишите по этому электронному адресу.
    Скачать программу можно здесь.

    Copyright © Автор ИП Мыльников Алексей Борисович, г. Волгоград, 2018г. Все права защищены.