Инстаграм запускает алгоритм выдачи публикаций в ленте. Как удалить старые записи из Хроники Facebook

Ребята, мы вкладываем душу в сайт. Cпасибо за то,
что открываете эту красоту. Спасибо за вдохновение и мурашки.
Присоединяйтесь к нам в Facebook и ВКонтакте

В эру цифровых технологий и скоростного интернета можно узнать любую информацию. За несколько минут мы находим рецепты вкусного пирога или знакомимся с теорией корпускулярно-волнового дуализма.

Но зачастую нужную информацию приходится высеивать по крупицам и тратить на это не один час. сайт собрал для вас самые действенные способы, которые помогут отыскать драгоценные материалы за пару кликов.

1. Или то, или другое

Иногда мы точно не уверены, что правильно запомнили или услышали нужную информацию. Не беда! Просто введите несколько подходящих вариантов через значок “|” или английское "or", а затем выберите подходящий результат.

2. Поиск по синониму

Как известно, великий и могучий русский язык богат синонимами. И иногда это совсем не на руку. Если вам нужно быстро найти сайты по заданной теме, а не просто конкретную фразу - поставьте символ "~".

Например, результаты запроса "здоровая ~еда" помогут узнать принципы здорового питания, познакомят с полезными рецептами и продуктами, а также предложат посетить рестораны правильного питания.

3. Поиск внутри сайта

4. Сила звездочки

Когда коварная память подводит нас и безнадежно теряет из фразы слова или цифры, на помощь приходит значок "*". Просто поставьте его на месте забытого фрагмента и получите нужные результаты.

5. Много пропущенных слов

А вот если из памяти выпало не одно слово, а половина фразы, попробуйте написать первое и последнее слово, а между ними - AROUND (примерное количество пропущенных слов). Например, вот так: "Я вас любил AROUND(7) не совсем".

6. Временные рамки

Иногда нам позарез нужно познакомиться с событиями, которые происходили в определенный промежуток времени. Для этого к основной фразе добавляем временные рамки, прописанные через многоточие. Например, мы хотим узнать, какие научные открытия были сделаны в период с 1900 по 2000 год.

7. Поиск по названию или ссылке

Для того, чтобы поисковик нашел ключевые слова в названии статьи - введите слово "intitle:" перед запросом без пробела, а для поиска слова в ссылке - "inurl:".

2.
3.
4.
5. Ожидания
6.
7. WebDriver API
8. Приложение: Часто Задаваемые Вопросы

5. Ожидания

В наши дни большинство веб-приложений используют AJAX технологии. Когда страница загружена в браузере, элементы на этой странице могут подгружаться с различными временными интервалами. Это затрудняет поиск элементов, если элемент не присутствует в DOM , возникает исключение ElementNotVisibleException. Используя ожидания, мы можем решить эту проблему. Ожидание дает некий временной интервал между произведенными действиями - поиске элемента или любой другой операции с элементом.

Selenium WebDriver предоставляет два типа ожиданий - неявное (implicit) и явное (explicit). Явное ожидание заставляет WebDriver ожидать возникновение определенного условия до произведения действий. Неявное ожидание заставляет WebDriver опрашивать DOM определенное количество времени, когда пытается найти элемент.

5.1 Явные ожидания

Явное ожидание - это код, которым вы определяете какое необходимое условие должно произойти для того, чтобы дальнейший код исполнился. Худший пример такого кода - это использование команды time.sleep(), которая устанавливает точное время ожидания. Существуют более удобные методы, которые помогут написать вам код, ожидающий ровно столько, сколько необходимо. WebDriverWait в комбинации с ExpectedCondition является одним из таких способов.

From selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Firefox() driver.get("http://somedomain/url_that_delays_loading") try: element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "myDynamicElement"))) finally: driver.quit()
Этот код будет ждать 10 секунд до того, как отдаст исключение TimeoutException или если найдет элемент за эти 10 секунд, то вернет его. WebDriverWait по умолчанию вызывает ExpectedCondition каждые 500 миллисекунд до тех пор, пока не получит успешный return. Успешный return для ExpectedCondition имеет тип Boolean и возвращает значение true, либо возвращает not null для всех других ExpectedCondition типов.

Ожидаемые условия
Существуют некие условия, которые часто встречаются при автоматизации веб-сайтов. Ниже перечислены реализации каждого. Связки в Selenium Python предоставляют некоторые удобные методы, так что вам не придется писать класс expected_condition самостоятельно или же создавать собственный пакет утилит.

title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable - it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 10) element = wait.until(EC.element_to_be_clickable((By.ID,"someid")))
Модуль expected_conditions уже содержит набор предопределенных условий для работы с WebDriverWait.

5.2 Неявные ожидания

Неявное ожидание указывает WebDriver"у опрашивать DOM определенное количество времени, когда пытается найти элемент или элементы, которые недоступны в тот момент. Значение по умолчанию равно 0. После установки, неявное ожидание устанавливается для жизни экземпляра WebDriver объекта.

From selenium import webdriver driver = webdriver.Firefox() driver.implicitly_wait(10) # seconds driver.get("http://somedomain/url_that_delays_loading") myDynamicElement = driver.find_element_by_id("myDynamicElement")
Перейти к следующей главе.

В августе Instagram запустил новую функцию — рассказы, которые исчезают через 24 часа. В новом обзоре я разложила по полочкам все возможности

Буквально в первый день появления «историй» я написала статью с . Тем не менее, вопросов о том, как использовать Stories с каждым днем становится все больше и больше. Поэтому я решила подготовить полную инструкцию по Instagram Stories.

Ну что, поехали? 🙂

Что такое Instagram Stories?

Этот вопрос задают по разному. Вот лишь часть поисковых запросов по новой функции Instagram: «что за кружочки в инстаграм сверху», «как сделать в инстаграм, чтобы ты был в кругу», «что за кружочки в новостях», «что за круг вокруг аватарки», «кружочек в Instagram», «что за новая фигня в инстаграм» и так далее.

— это новая функция приложения, которую по-русски называют «истории» или «рассказы». Это фото и видео, которые исчезнут ровно через сутки после загрузки.

В чем смысл «историй»?

Instagram запустил Stories с идеей, чтобы пользователи больше делились моментами из реальной жизни. Потому что сейчас, если посмотреть ленту в соцсети, большинство фотографии — идеальные: над ними не 5 минут трудятся в фоторедакторах, чтобы выставить, анализируют статистику и выбирают лучшее для публикации время.

Кроме того, считается, что делать больше 1-3 фотографий в день — моветон. А Stories позволяет делать хоть 10 публикаций, при этом вы не будете спамером.

Да и вообще, контент, который исчезает — это новый тренд. Первопроходец — Snapchat, в некотором смысле, конкурент Instagram. И судя по всему, второй решил не отставать.

Где находятся Stories?

Увидеть «истории» можно вверху ленты новостей, где они представлены в виде отдельной ленты. Выглядит вот так.

Первая аватарка — это моя «история». Знак + в голубом круге означает, что у меня нет сейчас фото или видео в «истории», и я могу его добавить. Чтобы добавить «историю» , мне нужно нажать на плюс в черном круге над моей аватаркой.

Следующие аватары в цветном круге — это «истории» людей, на которых я подписана, и у которых есть что-то новое, что я невидела. Если пролистать список влево, можно увидеть все «истории», опубликованные моими друзьями. В том числе те, что я уже видела — у таких «историй» круги не цветные, а белые. Пример ниже.

Как подключить Instagram Stories?

«Истории» доступны всем пользователям приложения. Как-то специально подключать ее не нужно. Если эта функция по какой-то причине у вас не появилась, стоит обновить Instagram до последней версии.

Как начать свою «историю»?

Нажмите на плюс в черном круге в левом углу вкладки «новости». Другой вариант — проведите пальцем по экрану влево в любой части ленты новостей. Так перед вами тоже появится Instagram Stories.

Разберем, что здесь есть.

Круг по центру — это кнопка для того, чтобы сделать фото или видео. Нажмите один раз, чтобы сделать фото. Нажмите и задержите палец, чтобы сделать видео.

Буквально несколько дней назад Instagram добавил новую функцию : теперь в «историях» можно сразу снимать Boomerang (закругленное видео). Чтобы снять Boomerang, коснитесь этого слова внизу экрана, а затем кружка, чтобы сделать видео.

Значок с двумя стрелочками справа от белого круга — это кнопка, чтобы переключаться между камерами — передней и внешней. Также можно переключиться, нажав дважды на экран, что особенно удобно, если вы снимаете видео и вам нужно быстро сменить камеру.

Слева от белого кружка вы видите два значка. Молния в круге — это вспышка. Нажмите на нее, чтобы добавить освещения на фото или видео. Луна в круге — появляется автоматически, когда телефон видит, что недостаточно освещения. Стоит нажать на нее, чтобы улучшить качество фото (хотя, я думаю, вы понимаете, что при плохом освещении даже со вспышкой или «луной» — качество будет не ахти).

В верхнем левом углу вы видите значок настройка.
Итак, что здесь есть.

Возможность скрыть «истории » от людей, которые подписаны на вас, но вы бы не хотели, чтобы они просматривали эти фото и видео (как видите, у меня есть двое таких людей).

Ниже — ограничение по комментариям . Вы можете выбрать, чтобы кто-угодно мог написать вас сообщение-ответ на «историю», те, на кого вы подписаны или вообще отключить эту функцию (особенно подходит публичным людям, у которых сотни тысяч подписчиков).

Сохранять фотографии из «историй» автоматически. Вы можете включить эту функцию и весь поток ваших фото и видео будет сохраняться у вас на телефоне.

Если же вам не нужно сохранять все фото, вы можете сохранять понравившеюся публикацию отдельно. На фото слева вы видите публикацию, которую я сделала в Stories. В правом нижнем углу есть стрелочка — нажав на нее, вы сохраните это фото.

Слева вы видите Отмена — нажав, вы убираете сделанное фото или видео. Будьте внимательны, нажав «отмена», вернуть фото/видео уже нельзя.

Разберем также дополнительные возможности Instagram Stories. В правом верхнем углу вы видите два значка — рисунок и текст.

Рисунок можно накладывать и на фото, и на текст. Его можно создать с помощью трех инструментов: маркер, выделитесь и неоновые кисти. Выбирайте тот, который вам больше всего нравится и подходит под контент. Там же можно выбрать толщину штриха и цвет. Пример смотрите ниже на фото.

Текст может содержать не только буквы, но и смайлы. Вы можете выбрать любой цвет, в том числе для одного слова — один цвет, для другого — другой. Можно изменить размер текста и повернуть, как хотите. Для этого сводите и разводите два пальца.

Пока возможности добавить несколько надписей нет. Ну чтобы текст и в этом месте, и в этом, и в этом. Но вот лайфхак , как это можно сделать. Первый вариант — добавьте пробелы так, чтобы надпись была в нескольких местах (фото ниже).

Еще можно воспользоваться специальными приложениями, где добавить сколько угодно надписей, любых шрифтов, цветов и размеров.

Просто поставьте @ и начните вводить имя человека или страницы, которую вы хотите отметить на фото/видео. Появятся аватары, среди них вы выбираете нужный профиль. После публикации ссылка станет активной. Пример — смотрите ниже на фото.

Также вместе со ссылкой на профили, Instagram анонсировал, что начинает тестировать ссылки на внешние сайты . Первыми доступ к такой функции получили известные личности с верифицированными аккаунтами (галочка возле ника).

Кроме текста и рисунка, в Instagram Stories можно добавить эффекты на фото и видео . Для этого проведите по экрану влево или вправо — и выберите фильтр. Их всего шесть, и часто они очень неплохо дополняют контент.

В Stories можно добавить фото и видео, которые уже есть у вас в телефоне, из вашей галереи. В этом секрет качественных фотографий, загруженных в «истории», а также фильтров и эффектов, которых как бы нет в Stories. Например, часто пользователи загружают видео, сделанные в Snapchat (знаете, когда у человека появляется мордочка собачки и он лижет экран? Боже, даже писать смешно)).

Так что у вас есть возможность обработать фото и видео в любом приложении — и грузить уже в «сторис».

Проведите пальцем сверху вниз, всплывет окно с перечнем фото и видео, сделанных за последние 24 часа и сохраненных в телефоне. Обратите внимание: только за последние сутки! Выберите контент, который хотите загрузить, и он — в Stories.

Лайфхак . Если фото было сделано не за последние сутки, а неделю/месяц/год назад, обработайте его в одном из приложений (типа VSCO или Snapseed) и загрузите на телефон. Оно появится, как новое. Можно даже не обрабатывать, а просто загрузить в приложение — и выгрузить обратно в телефон.

С Boomerang и видео чуть сложнее. Прием, которым я пользуюсь: отправляю с телефона видео в Google Диск или себе на «почту» и оттуда его вновь скачиваю. Если знаете лучше способ, поделитесь 🙂

Вы также можете спокойно удалить фото или видео из Stories. Для этого нажмите на троеточие в нижнем правом углу.

Даже если вы не удалите фото, оно все равно исчезнет из ленты через 24 часа, не забывайте об этом.

Какой формат фотографии?

Многие сразу после появления новой функции стали жаловаться на специфический формат фотографии. И правда, непонятно почему фото в Instagram Stories словно увеличенные.

Дело в том, что Instagram подгоняет фотографию под Stories, из-за чего часть снимка может быть обрезана. Причем без возможности выбрать, что именно обрезать.

К примеру, у меня есть фотография, которую я снимала на телефон в квадратном формате. Вот что делает с ней Stories.

Что в таком случае делать? Есть несколько вариантов. Первый — снимать сразу в Instagram Stories (но тогда нельзя редактировать фото). Второй — снимать на телефон вертикально, при этом все равно края будут обрезаны, но незначительно.

Третий вариант — добавлять рамку. Я делаю это простым способом: открываю фото в галерее на телефоне и делаю скрин. Вот, что получается.

Думаю, стоит поэкспериментировать с приложениями, где можно добавить рамки. Помните, как это было до того, как Instagram разрешил грузить не только квадратные фото? Вот эти приложения снова придутся как нельзя кстати. Правда я над этим не заморачиваюсь.

Как оставлять комментарии в Stories?

Никак. В «историях» нет комментариев и нет лайков. Но есть возможность ответить на публикацию, отправив личное сообщение человеку в директ. Например, как я отправила комплимент Полине.

Как поставить «истории» на паузу?

Да, можно остановить «историю», чтобы прочитать текст на картинке, например. Для этого просто нажмите на экран и держите палец — фото и видео не будут двигаться.

Как склеивать фотографии и видео в одну «историю»?

Ваши публикации собираются в один рассказ самостоятельно. Вы просто загружаете одно фото за другим, видео, Boomerang — а приложение все делает за вас. В итоге получается подборка из событий за 24 часа. Сколько публикаций было сделано, можно увидеть в самом верху — видите лента из черточек?

Чьи «истории» я вижу?

Вы видите Stories людей, на которых вы подписаны. Их «рассказы» появляются один за другим в верхней части ленты новостей. Новые «истории» — обведены цветным ореолом.

Нажав на аватар человека, вы увидите его «историю». Переход между «историями» происходит автоматически, но вы можете ускорить процесс, нажав на экран пальцем. Ну а если будете нажимать по экрану вправо и влево, будете перемещаться между «рассказами» разных пользователей.

Также увидеть «историю» человека у него в профиле: его аватар обведен ярким цветом.

Можно ли отключить чьи-то «истории»?

Если вы подписаны на человека, но не хотите видеть его «рассказы», вы можете их скрыть.

Для этого зайдите в ленту новостей, найдите «историю» человека, которого хотите скрыть — нажмите пальцем и задержите на пару секунд. Появится экран с кнопкой «скрыть истории @пользователя». Нажимайте — и выдыхайте. Вы больше не будете видеть «истории» этого человека.

Снова видеть «истории» можно. Для этого пролистайте ленту Stories до конца — там вы увидите профили тех, кого скрыли. Нажмите на аватарку, удержите пару секунд и перед вами появится такое же поле с возможностью вернуть профиль в ленту.

Человек увидит, что я смотрел его «историю»?

Да, помните об этом, если вы смотрите чей-то «рассказ», человек узнает об этом. Под фотографией появляется количество просмотров, и если потянуть экран вверх — появится перечень всех пользователей, которые видели вашу «историю». Сделать это можете только вы, то есть другие пользователи не знают, сколько человек видело ваш «рассказ».

Кстати, в списке не видно, сколько раз человек просматривал вашу «историю». Так что поклонников будет вычислить сложно 😉

Кого первого видно в списке моих «историй»?

Когда вы открываете список тех, кто смотрел ваши Stories, вверху вы, как правило, видите тех пользователей, с которыми активней всего взаимодействуете: ставите им лайки, и получаете взамен, комментируете их посты, а они ваши, общаетесь в директ. Их же «истории» вы, скорее всего, видите в числе первых в ленте.

Почему я говорю «скорее всего» и «как правило», потому что Instagram не разглашает своих алгоритмов, а потом говорить наверняка сложно. Это мои личные наблюдения.

Можно ли тайно смотреть чью-то «историю»?

Нет, Instagram такую возможность не дает. Да и приложений, которые способны сделать вас «невидимкой» я пока не находила.

Правда, под предыдущим обзором я получила множество комментариев о том, что «невидимки» в Stories уже появились. Например, одна девушка рассказала, что видит одно количество просмотров на своей «истории», а открывая список — их на несколько человек меньше. Я такого феномена в своих аккаунтах не наблюдала, но думаю, что дело скорее в глюке «сторис», чем в появлении «невидимок». Время покажет.

Кто видит мою «историю»?

Все зависит от настройки конфиденциальности вашего аккаунта. У вас закрытый профиль ? Тогда вашу «историю» видят только одобренные вами подписчики, те, кто есть у вас в друзья. Посторонние видеть вашу Stories не могут.

Получение частных данных не всегда означает взлом - иногда они опубликованы в общем доступе. Знание настроек Google и немного смекалки позволят найти массу интересного - от номеров кредиток до документов ФБР.

WARNING

Вся информация предоставлена исключительно в ознакомительных целях. Ни редакция, ни автор не несут ответственности за любой возможный вред, причиненный материалами данной статьи.

К интернету сегодня подключают всё подряд, мало заботясь об ограничении доступа. Поэтому многие приватные данные становятся добычей поисковиков. Роботы-«пауки» уже не ограничиваются веб-страницами, а индексируют весь доступный в Сети контент и постоянно добавляют в свои базы не предназначенную для разглашения информацию. Узнать эти секреты просто - нужно лишь знать, как именно спросить о них.

Ищем файлы

В умелых руках Google быстро найдет все, что плохо лежит в Сети, - например, личную информацию и файлы для служебного использования. Их частенько прячут, как ключ под половиком: настоящих ограничений доступа нет, данные просто лежат на задворках сайта, куда не ведут ссылки. Стандартный веб-интерфейс Google предоставляет лишь базовые настройки расширенного поиска, но даже их будет достаточно.

Ограничить поиск по файлам определенного вида в Google можно с помощью двух операторов: filetype и ext . Первый задает формат, который поисковик определил по заголовку файла, второй - расширение файла, независимо от его внутреннего содержимого. При поиске в обоих случаях нужно указывать лишь расширение. Изначально оператор ext было удобно использовать в тех случаях, когда специфические признаки формата у файла отсутствовали (например, для поиска конфигурационных файлов ini и cfg, внутри которых может быть все что угодно). Сейчас алгоритмы Google изменились, и видимой разницы между операторами нет - результаты в большинстве случаев выходят одинаковые.

Фильтруем выдачу

По умолчанию слова и вообще любые введенные символы Google ищет по всем файлам на проиндексированных страницах. Ограничить область поиска можно по домену верхнего уровня, конкретному сайту или по месту расположения искомой последовательности в самих файлах. Для первых двух вариантов используется оператор site, после которого вводится имя домена или выбранного сайта. В третьем случае целый набор операторов позволяет искать информацию в служебных полях и метаданных. Например, allinurl отыщет заданное в теле самих ссылок, allinanchor - в тексте, снабженном тегом , allintitle - в заголовках страниц, allintext - в теле страниц.

Для каждого оператора есть облегченная версия с более коротким названием (без приставки all). Разница в том, что allinurl отыщет ссылки со всеми словами, а inurl - только с первым из них. Второе и последующие слова из запроса могут встречаться на веб-страницах где угодно. Оператор inurl тоже имеет отличия от другого схожего по смыслу - site . Первый также позволяет находить любую последовательность символов в ссылке на искомый документ (например, /cgi-bin/), что широко используется для поиска компонентов с известными уязвимостями.

Попробуем на практике. Берем фильтр allintext и делаем так, чтобы запрос выдал список номеров и проверочных кодов кредиток, срок действия которых истечет только через два года (или когда их владельцам надоест кормить всех подряд).

Allintext: card number expiration date /2017 cvv

Когда читаешь в новостях, что юный хакер «взломал серверы» Пентагона или NASA, украв секретные сведения, то в большинстве случаев речь идет именно о такой элементарной технике использования Google. Предположим, нас интересует список сотрудников NASA и их контактные данные. Наверняка такой перечень есть в электронном виде. Для удобства или по недосмотру он может лежать и на самом сайте организации. Логично, что в этом случае на него не будет ссылок, поскольку предназначен он для внутреннего использования. Какие слова могут быть в таком файле? Как минимум - поле «адрес». Проверить все эти предположения проще простого.

Inurl:nasa.gov filetype:xlsx "address"

Пользуемся бюрократией

Подобные находки - приятная мелочь. По-настоящему же солидный улов обеспечивает более детальное знание операторов Google для веб-мастеров, самой Сети и особенностей структуры искомого. Зная детали, можно легко отфильтровать выдачу и уточнить свойства нужных файлов, чтобы в остатке получить действительно ценные данные. Забавно, что здесь на помощь приходит бюрократия. Она плодит типовые формулировки, по которым удобно искать случайно просочившиеся в Сеть секретные сведения.

Например, обязательный в канцелярии министерства обороны США штамп Distribution statement означает стандартизированные ограничения на распространение документа. Литерой A отмечаются публичные релизы, в которых нет ничего секретного; B - предназначенные только для внутреннего использования, C - строго конфиденциальные и так далее до F. Отдельно стоит литера X, которой отмечены особо ценные сведения, представляющие государственную тайну высшего уровня. Пускай такие документы ищут те, кому это положено делать по долгу службы, а мы ограничимся файлами с литерой С. Согласно директиве DoDI 5230.24, такая маркировка присваивается документам, содержащим описание критически важных технологий, попадающих под экспортный контроль. Обнаружить столь тщательно охраняемые сведения можно на сайтах в домене верхнего уровня.mil, выделенного для армии США.

"DISTRIBUTION STATEMENT C" inurl:navy.mil

Очень удобно, что в домене.mil собраны только сайты из ведомства МО США и его контрактных организаций. Поисковая выдача с ограничением по домену получается исключительно чистой, а заголовки - говорящими сами за себя. Искать подобным образом российские секреты практически бесполезно: в доменах.ru и.рф царит хаос, да и названия многих систем вооружения звучат как ботанические (ПП «Кипарис», САУ «Акация») или вовсе сказочные (ТОС «Буратино»).

Внимательно изучив любой документ с сайта в домене.mil, можно увидеть и другие маркеры для уточнения поиска. Например, отсылку к экспортным ограничениям «Sec 2751», по которой также удобно искать интересную техническую информацию. Время от времени ее изымают с официальных сайтов, где она однажды засветилась, поэтому, если в поисковой выдаче не удается перейти по интересной ссылке, воспользуйся кешем Гугла (оператор cache) или сайтом Internet Archive.

Забираемся в облака

Помимо случайно рассекреченных документов правительственных ведомств, в кеше Гугла временами всплывают ссылки на личные файлы из Dropbox и других сервисов хранения данных, которые создают «приватные» ссылки на публично опубликованные данные. С альтернативными и самодельными сервисами еще хуже. Например, следующий запрос находит данные всех клиентов Verizon, у которых на роутере установлен и активно используется FTP-сервер.

Allinurl:ftp:// verizon.net

Таких умников сейчас нашлось больше сорока тысяч, а весной 2015-го их было на порядок больше. Вместо Verizon.net можно подставить имя любого известного провайдера, и чем он будет известнее, тем крупнее может быть улов. Через встроенный FTP-сервер видно файлы на подключенном к маршрутизатору внешнем накопителе. Обычно это NAS для удаленной работы, персональное облако или какая-нибудь пиринговая качалка файлов. Все содержимое таких носителей оказывается проиндексировано Google и другими поисковиками, поэтому получить доступ к хранящимся на внешних дисках файлам можно по прямой ссылке.

Подсматриваем конфиги

До повальной миграции в облака в качестве удаленных хранилищ рулили простые FTP-серверы, в которых тоже хватало уязвимостей. Многие из них актуальны до сих пор. Например, у популярной программы WS_FTP Professional данные о конфигурации, пользовательских аккаунтах и паролях хранятся в файле ws_ftp.ini . Его просто найти и прочитать, поскольку все записи сохраняются в текстовом формате, а пароли шифруются алгоритмом Triple DES после минимальной обфускации. В большинстве версий достаточно просто отбросить первый байт.

Расшифровать такие пароли легко с помощью утилиты WS_FTP Password Decryptor или бесплатного веб-сервиса .

Говоря о взломе произвольного сайта, обычно подразумевают получение пароля из логов и бэкапов конфигурационных файлов CMS или приложений для электронной коммерции. Если знаешь их типовую структуру, то легко сможешь указать ключевые слова. Строки, подобные встречающимся в ws_ftp.ini , крайне распространены. Например, в Drupal и PrestaShop обязательно есть идентификатор пользователя (UID) и соответствующий ему пароль (pwd), а хранится вся информация в файлах с расширением.inc. Искать их можно следующим образом:

"pwd=" "UID=" ext:inc

Раскрываем пароли от СУБД

В конфигурационных файлах SQL-серверов имена и адреса электронной почты пользователей хранятся в открытом виде, а вместо паролей записаны их хеши MD5. Расшифровать их, строго говоря, невозможно, однако можно найти соответствие среди известных пар хеш - пароль.

До сих пор встречаются СУБД, в которых не используется даже хеширование паролей. Конфигурационные файлы любой из них можно просто посмотреть в браузере.

Intext:DB_PASSWORD filetype:env

С появлением на серверах Windows место конфигурационных файлов отчасти занял реестр. Искать по его веткам можно точно таким же образом, используя reg в качестве типа файла. Например, вот так:

Filetype:reg HKEY_CURRENT_USER "Password"=

Не забываем про очевидное

Иногда добраться до закрытой информации удается с помощью случайно открытых и попавших в поле зрения Google данных. Идеальный вариант - найти список паролей в каком-нибудь распространенном формате. Хранить сведения аккаунтов в текстовом файле, документе Word или электронной таблице Excel могут только отчаянные люди, но как раз их всегда хватает.

Filetype:xls inurl:password

С одной стороны, есть масса средств для предотвращения подобных инцидентов. Необходимо указывать адекватные права доступа в htaccess, патчить CMS, не использовать левые скрипты и закрывать прочие дыры. Существует также файл со списком исключений robots.txt, запрещающий поисковикам индексировать указанные в нем файлы и каталоги. С другой стороны, если структура robots.txt на каком-то сервере отличается от стандартной, то сразу становится видно, что на нем пытаются скрыть.

Список каталогов и файлов на любом сайте предваряется стандартной надписью index of. Поскольку для служебных целей она должна встречаться в заголовке, то имеет смысл ограничить ее поиск оператором intitle . Интересные вещи находятся в каталогах /admin/, /personal/, /etc/ и даже /secret/.

Следим за обновлениями

Актуальность тут крайне важна: старые уязвимости закрывают очень медленно, но Google и его поисковая выдача меняются постоянно. Есть разница даже между фильтром «за последнюю секунду» (&tbs=qdr:s в конце урла запроса) и «в реальном времени» (&tbs=qdr:1).

Временной интервал даты последнего обновления файла у Google тоже указывается неявно. Через графический веб-интерфейс можно выбрать один из типовых периодов (час, день, неделя и так далее) либо задать диапазон дат, но такой способ не годится для автоматизации.

По виду адресной строки можно догадаться только о способе ограничить вывод результатов с помощью конструкции &tbs=qdr: . Буква y после нее задает лимит в один год (&tbs=qdr:y), m показывает результаты за последний месяц, w - за неделю, d - за прошедший день, h - за последний час, n - за минуту, а s - за секунду. Самые свежие результаты, только что ставшие известными Google, находится при помощи фильтра &tbs=qdr:1 .

Если требуется написать хитрый скрипт, то будет полезно знать, что диапазон дат задается в Google в юлианском формате через оператор daterange . Например, вот так можно найти список документов PDF со словом confidential, загруженных c 1 января по 1 июля 2015 года.

Confidential filetype:pdf daterange:2457024-2457205

Диапазон указывается в формате юлианских дат без учета дробной части. Переводить их вручную с григорианского календаря неудобно. Проще воспользоваться конвертером дат .

Таргетируемся и снова фильтруем

Помимо указания дополнительных операторов в поисковом запросе их можно отправлять прямо в теле ссылки. Например, уточнению filetype:pdf соответствует конструкция as_filetype=pdf . Таким образом удобно задавать любые уточнения. Допустим, выдача результатов только из Республики Гондурас задается добавлением в поисковый URL конструкции cr=countryHN , а только из города Бобруйск - gcs=Bobruisk . В разделе для разработчиков можно найти полный список .

Средства автоматизации Google призваны облегчить жизнь, но часто добавляют проблем. Например, по IP пользователя через WHOIS определяется его город. На основании этой информации в Google не только балансируется нагрузка между серверами, но и меняются результаты поисковой выдачи. В зависимости от региона при одном и том же запросе на первую страницу попадут разные результаты, а часть из них может вовсе оказаться скрытой. Почувствовать себя космополитом и искать информацию из любой страны поможет ее двухбуквенный код после директивы gl=country . Например, код Нидерландов - NL, а Ватикану и Северной Корее в Google свой код не положен.

Часто поисковая выдача оказывается замусоренной даже после использования нескольких продвинутых фильтров. В таком случае легко уточнить запрос, добавив к нему несколько слов-исключений (перед каждым из них ставится знак минус). Например, со словом Personal часто употребляются banking , names и tutorial . Поэтому более чистые поисковые результаты покажет не хрестоматийный пример запроса, а уточненный:

Intitle:"Index of /Personal/" -names -tutorial -banking

Пример напоследок

Искушенный хакер отличается тем, что обеспечивает себя всем необходимым самостоятельно. Например, VPN - штука удобная, но либо дорогая, либо временная и с ограничениями. Оформлять подписку для себя одного слишком накладно. Хорошо, что есть групповые подписки, а с помощью Google легко стать частью какой-нибудь группы. Для этого достаточно найти файл конфигурации Cisco VPN, у которого довольно нестандартное расширение PCF и узнаваемый путь: Program Files\Cisco Systems\VPN Client\Profiles . Один запрос, и ты вливаешься, к примеру, в дружный коллектив Боннского университета.

Filetype:pcf vpn OR Group

INFO

Google находит конфигурационные файлы с паролями, но многие из них записаны в зашифрованном виде или заменены хешами. Если видишь строки фиксированной длины, то сразу ищи сервис расшифровки.

Пароли хранятся в зашифрованном виде, но Морис Массар уже написал программу для их расшифровки и предоставляет ее бесплатно через thecampusgeeks.com .

При помощи Google выполняются сотни разных типов атак и тестов на проникновение. Есть множество вариантов, затрагивающих популярные программы, основные форматы баз данных, многочисленные уязвимости PHP, облаков и так далее. Если точно представлять то, что ищешь, это сильно упростит получение нужной информации (особенно той, которую не планировали делать всеобщим достоянием). Не Shodan единый питает интересными идеями, но всякая база проиндексированных сетевых ресурсов!

За последние несколько лет появилось множество статей, которые предупреждают о том, что хакеры (или cracker"ы, если хотите) используют поисковую систему google для получения доступа к файлам, к которым, по идее, они доступа иметь не должны. То, что я расскажу вам, возможно, кто-то уже давно использует в своих целях, но мне всегда было интересно самому узнать, как это работает. В 2001 году, James Middleton написал статью для vnunet.com, в которой шла речь об использовании хакерами специальных слов в поисковой машине google, для нахождения важной банковской информации:

"В сообщении, находившемся в одной из security конференций было сказано, что введя "Index of / +banques +filetype:xls" в строку поиска, в конечном счете можно было заполучить важные / секретные таблицы Excel из Французских банков. Та же самая технология может быть использована для поиска файлов с паролями"

В другой статье, которая появилась на wired.com, рассказывается, как Adrian Lamo, хакер часто попадающий в сводки компьютерных преступлений, использовал Google, чтобы получить доступ к web сайтам крупных корпораций.

"Например, введя фразу "Select a database to view" - обычная фраза, используемая в FileMaker Pro database interface" - Google выдает примерно 200 ссылок, большинство из которых ведут на страницу с доступом к FileMaker для всех пользователей."

Подобные статьи продолжали и продолжали появляться в internet. Правительственные и Военные сайты Соединенных Штатов были тоже уязвимы, потому что скрипты используемые админами, можно было легко найти с помощью google. Медицинские карты, личные записи - все могло неожиданно оказаться в руках пользователей этой поисковой системы. Но в статьях никогда не было описано, как можно использовать Google в "таких" целях. Даже пример строки, которую вводил хакер не предоставлялся широкой аудитории. После того, как я последний раз прочитал подобную статью, я решил, что пора самому во всем разобраться - действительно ли google позволяет делать все то, о чем так много раз упоминалось в различных докладах. Следующий текст является результатом моих исследований.

Теория

На самом деле, теория очень проста. Чтобы получить интересующую вас информацию, вам нужно попробовать представить, в каких файлах эта информация может находиться, а затем просто попытаться их найти. (Например, попробуйте поискать *.xls файлы). Или же вы можете избрать более интересный подход - подумать, какой софт установленный на атакуемой машине, предоставляет возможность выполнять нужные вам задачи, затем ввести критические/опасные файлы этого программного обеспечения в строку поиска. Примером может послужить система управления содержанием сайта (content management system). Вам нужно исследовать эту систему, выяснить, какие файлы она в себя включает, а затем воспользоваться google. Но вернемся к примеру о базе данных, рассмотренном чуть выше. Вы знаете, что строка "view database" находится на тех web страницах, которые не должны быть вам доступны. Следовательно, вам остается только найти страницы, в которых содержится данная строка или же узнать, что, например, опция "view database" ссылается на страницу "viewdbase.htm", то есть ее и надо будет ввести в строку поиска.

Самое главное - четко поставить перед собой цель и знать, что вы хотите найти. Только после этого вы можете воспользоваться Google.

Опции поиска Google

Google позволяет искать специальные типы файлов, то есть, как результат поиска, вы получаете не html-страницы (web сайты), а, например, файл Microsoft Excel. Вот что нужно ввести в строку поиска:

Filetype:xls (для файлов excel) или filetype:doc для файлов Word.

Наверное, будет интереснее найти файлы *.db и *.mdb. Можно поискать и другие типы файлов. Первое, что приходит на ум - *.cfg или *.pwd, *.dat файлы и т. п. Сначала подумайте, какие файлы могут содержать ценную информацию.

Еще одна полезная опция при поиске - inurl: опция, которая позволяет искать заданные слова в url. Это дает вам возможность искать нужные каталоги.

Пример: inurl:admin Результатом поиска станут web-сайты, у которых в url имеется слово "admin".

Index of

Опция "index of" тоже не до конца продумана разработчиками google, но нам она очень пригодится. Если вы используете опцию "index of", то как результат, google вам покажет листинг директории на сервере. Вот пример:

"index of" admin или index.of.admin

В результате вы получите листинг множества директорий "admin".

Опция "site" позволяет показывать результаты поиска только по определенному домену или сайту. Например, вы можете искать как на всех.com или.box.sk или.nl сайтах, так и только на одном сайте. Будет очень интересно поискать на военных и правительственных сайтах. Вот пример строки поиска:

Site:mil или site:gov

Site:neworder.box.sk "board"

Intitle - еще одна интересная опция. Она позволяет вам искать html файлы, в заголовке которых присутствует нужное вам слово или комбинация слов. Строка поиска при этом будет выглядеть так: intitle:здесь_слово. Вы можете узнать, какие слова присутствуют в заголовке, скажем, той же системы управления содержанием сайта, а затем искать эти слова в google, используя при этом опцию Intitle. В результате, вы получите доступ к подобным системам на других сайтах.

Опция Link позволяет вам узнать, на каких web страницах есть ссылка на указанный вами сайт. Как описано в книге "Hacking Exposed Third Edition" (Секреты Хакеров Третье Издание), эту опцию мы также можем использовать в своих целях.

Комбинируем опции при поиске

Все вышеупомянутые опции могли быть, а могли и не быть вам известны. В любом случае, используя их, мы получим интересный результат. Факт остается фактом - свою магическую силу google проявляет тогда, когда мы начинаем комбинировать друг с другом эти опции. Например, можете попробовать поискать это:

inurl:nasa.gov filetype:xls "restricted" или это: site:mil filetype:xls "password" или может быть это: site:mil "index of" admin

(Эти примеры я взял из головы и не знаю, выдаст ли google что-нибудь интересное. Вам необходимо найти такое сочетание опций, чтобы получить ожидаемый результат).

Примеры; Практический Материал

Специальные типы файлов: *.xls, *.doc, *.pdf *.ps *.ppt *.rtf

Для начала, попробуйте поискать те файлы, в которых, вы думаете, находится интересующая вас информация. Для меня очевидным выбором стали следующие вещи:

Password, passwords, pwd, account, accounts, userid, uid, login, logins, secret, secrets. Конечно, все эти слова я искал с расширением *.doc, *.xls и *.db

Вот и появились первые интересные результаты, особенно, если искать файлы с расширением *.db. Правда, пароли я также находил и в *.doc файлах.

http://www.doc.state.ok.us/Spreadsheets/private%20prison%20survey%20for%20web.xls
http://www.bmo.com/investorrelations/current/current/suppnew/private.xls
http://www.nescaum.org/Greenhouse/Private/Participant_List.xls
http://www.dscr.dla.mil/aviationinvest/attendance_5Apr01.xls
http://web.nps.navy.mil/~drdolk/is3301/PART_IS3301.XLS

Admin.cfg

Admin.cfg, в большинстве случаев, конфигурационный файл админа. Многие разработчики софта также используют имена типа "config", "admin" или "setup". Часто такие файлы содержат чувствительную информацию и поэтому они не должны быть доступны большинству людей. Я попытался поискать файл admin.cfg, используя следующую строку поиска:

inurl:admin.cfg "index of"

В результате, google выдала множество файлов, среди которых были очень интересные;). Я, например, нашел файл: http://www.alternetwebdesign.com/cgi-bin/directimi/admin.cfg, в котором находились пароли Один пароль был от базы данных, которая находилась по адресу: http://www.alternetwebdesign.com/cgi-bin/directimi/database.cgi?admin.cfg. В базе данных находилась конфиденциальная информация клиентов этой компании. Я решил связаться с этой компанией и рассказать об уязвимости. Люди там оказались дружелюбные и сказали, что в ближайшее время постараются залатать брешь.

Webadmin

Некоторое время назад, когда я работал над этой статьей, я зашел на web сайт:

http://wacker-welt.de/webadmin/

Там было написано, что "webadmin" позволяет удаленно редактировать содержимое web сайта, загружать файлы и т.д. Главная страничка центра управления (control center) webadmin называется "webeditor.php". Очевидно, что следующим моим шагом стало посещение google и использование опции "inurl", чтобы найти страницы webeditor.php. Вот, что я ввел в строке поиска:

inurl:webeditor.php

и вот, что я нашел:

http://orbyonline.com/php/webeditor.php
http://www-user.tu-chemnitz.de/~hkri/Neuer%20Ordner/webeditor.php
http://artematrix.org/webeditor/webeditor.php
http://www.directinfo.hu/kapu/webeditor.php

Ко всем этим файлам доступ был неограничен, а все потому, что владельцы сайтов не потрудились поставить (правильно) защиту, используя.htaccess. Подобная ошибка позволяет абсолютно любому пользователю интернета заменять web страницы на сервере, а, следовательно, и дефейсить сайт. Возможность загружать свои файлы дает возможность получить полный доступ к серверу.

Походив по этим сайтам, я заметил, что файл, позволяющий загружать файлы, называется "file_upload.php". Затем в дело вступает google.

http://www.hvcc.edu/~kantopet/ciss_225/examples/begphp/ch10/file_upload.php

Вот хороший пример:

http://www.pelicandecals.com/admin/webeditor.php

Данный скрипт позволяет вам изменять файлы, как и в предыдущих примерах, включая index.php. По идее, любой заинтересованный человек может изменить существующий или загрузить свой скрипт на сервер и выполнить его. О последствиях, думаю, упоминать не стоит.

http://www.pelicandecals.com/admin/administration.html

Тут была доступна информация о покупателях, возможность менять цены на товары и т.д.

Системы управления содержанием сайта

Системы управления содержанием сайта - это программы, позволяющие web мастерам редактировать, изменять содержимое web сайта. Тоже относится и к панелям управления web сайтов. Суть заключается в том, что вам надо определить, какие файлы являются ключевыми в данном продукте. Таким файлом может быть "cms.html", "panel.html" или "control.cfg".

Frontpage Server Extensions HTML Administration Forms

"Вы можете удаленно администрировать FrontPage Server Extensions с любого компьютера, подключенного к internet, используя FrontPage Server Extension HTML Administration Forms."
Вот, что говорит об этом документация Microsoft. Это значит, пользователи, имеющие доступ к этим формам, могут выполнять некоторые функции администратора, удаленно. А это значит, что формы должны быть хорошо защищены от неавторизованных пользователей. Ну что, как насчет поискать такие формы в интернете? Первое, что нам нужно сделать - выяснить, какие файлы использует этот софт Краткий визит на web сайт Microsoft или беглый взгляд в документацию FrontPage покажет, что главной страницей всех форм администратора является "fpadmin.htm". Именно этот файл мы и будем искать. Но, сначала, мы должно правильно подобрать те опции, которые будут использоваться в строке поиска, чтобы получить нужный нам результат. Если проводится установка по умолчанию, то все файлы помещаются в директорию "admin". Вспомнив все, что мы узнали об опциях google и теории поиска, ожидаемый результат может выдать строка поиска типа:

inurl:fpadmin.htm "index of" admin или inurl:admin/fpadmin.htm

А вот и полученные при поиске результаты:

http://www.lehigh.edu/~ineduc/degree_programs/tbte/admin/
http://blackadder.eng.monash.edu.au/frontpage/admin/
http://www.lehigh.edu/collegeofeducation/degree_programs/tbte/admin/
http://www.vsl.gifu-u.ac.jp/freeman/frontpage4/admin/
http://www.tech-geeks.org/contrib/loveless/e-smith-fp-2002/frontpage/version5.0/admin/1033/fpadmin.htm
http://fp.nsk.fio.ru/admin/1033/fpadmin.htm

Вот что еще написано в документации к FrontPage:

"Из соображений безопасности, HTML Administration Forms сразу после установки не активны, что не позволит удаленно администрировать FrontPage из web браузера."

Это означает только одно - некоторые ссылки, которые выдала нам поисковая система google, могут оказаться бесполезными и есть только один способ проверить их работоспособность - попробовать воспользоваться некоторыми функциями администратора и посмотреть на результат. Я решил не заходить так далеко, чтобы не нарушать закон. Но я здесь не для того, чтобы учить вас хорошим манерам, по крайней мере сегодня.

Freesco Router

Программное обеспечение Freesco router для Linux по умолчанию устанавливает маленький браузер, который позволяет владельцам контролировать работу роутера через http протокол. По умолчанию, логин и пароль для панели управления - "admin". Очень многие пользователи freesco не знают об этом. Вы можете поискать панель управления Freesco роутеров, использую следующую строку:

intitle:"freesco control panel" или "check the connection" эти слова находятся либо в заголовках страниц, либо на самих страницах. Все сводится к одному - вы должны изучить софт найти те его части, которые отвечают за что-то важное (та же страница администратора) и составить такую строку, воспользовавшись которой, вы получите доступ к этим самым частям.

Дополнительные советы

Запомните, Английский, самый распространенный в интренете язык, но он не единственный. Пробуйте искать слова или строки из вашего родного языка или Французского или Немецкого и т.д. Например, "beeheer" по-немецки означает "администрация".
Вы можете использовать строки из списка уязвимостей любого сканера безопасности (security scanner). За примерами можно обратиться сюда: http://paris2k.at.box.sk/listings/
Пробуйте искать файлы "config.inc.php" или "mysql.cfg" - они могут содержать комбинации логин-пароль от базы данных MySQL Попробуйте в строке поиска использовать слова PHP SQL, mySQL и т.д.
Попробуйте следующие комбинации: inurl:admin "index of" "database" или inurl:phpmyadmin "index of" или inurl:mysql "index of" site:neworder.box.sk intitle:index.of или intitle:index.of.private(= intitle:"index of private")

Заключение

Internet - это сеть, к которой подключены сотни тысяч, а то и миллионов web серверов и по идее, можно получить доступ к любым данным, конечно, если они не защищены подобающим образом. Как разработчики программного обеспечения, так и конечные пользователи должны уделять больше внимания конфигурации защиты, устанавливаемой по умолчанию и политике безопасности. В конце концов, всегда найдутся люди, которые допускают ошибки, устанавливают все по умолчанию, используют плохо защищенное программное обеспечение и совсем об этом не беспокоятся или все еще верят, что ничего не произойдет если они поместят все это в таком виде в интернет. Но все же находятся любопытные личности, которым нравится находить интересную информацию не для посторонних глаз. Google может вам значительно помочь в таких делах, к тому же это совсем не трудно.