Телеканал Россия 24 сегодня передал сюжет об утечке данных покупателей интернет-магазинов через поисковую систему Яндекс.
В сообщении фигурирует упоминание некорректного использования файла, защищающего информацию от индексирования поисковиками. Объясняю подробнее, что это такое на самом деле. Речь идет о некорректном использовании файла robots.txt. Существует два варианта утечки данных при некорректном заполнении этого файла.
Яндекс против Google. КТо ищет лучше?
Что-то последнее время все чаще и чаще я сталкиваюсь с неадекватными результатами поиска в Яндексе. То ли с новыми алгоритмами там в конец перемудрили, то ли прессинг сеошников его вконец задавил, то ли в погоне за доходами от контекстной рекламы Яндекс сознательно понижает качество поисковой выдачи… Не берусь судить о причинах, но есть факт – качество поиска Яндекса неприятно падает.
Теперь приведу конкретные примеры поиска в Яндексе и сравню его результаты с Google.
В Яндексе признали, что их поиск морально устарел
Раньше я как-то не задумывался, на какой технологии работает Яндекс. Оказалось, что поиск до сих пор реализован на Perl. Выдачу отдает скрипт с версией 2259 (вернее, уже больше, т.к. номер версии известен на 2005 год). А первая версия была подготовлена не позже 1997 года.
Наконец, в Яндексе признали, что их поиск морально устарел, и вот теперь набирают программистов, чтобы переписать ядро сервера, формирующего результаты поиска. Собираются внедрить V8 (новая версия javascript).
Вот, собственно, отсюда и должны происходить ответы на вопросы пользователей и владельцев сайтов, типа:
Да потому, что для улучшения этой ситуации нужна производительность, которой невозможно добиться на старом ядре. А его не меняли с девяностых.
Еще раз удивляюсь грамотной маркетинговой политике Яндекса, которая позволяет ему лидировать с сервисом, мягко говоря, не лучшего качества. Сегодня сочетание поиска низкого качества и платной контекстной рекламы позволяет Яндексу добиваться высокой доходности именно за счет контекстной рекламы Директ.
Но это не может продолжаться вечно, Яндексу все сложнее сохранять свои позиции. Гугл предпринимает серьезные шаги для улучшения своего поиска и для увеличения своей доли в России. Яндексу, имея морально устаревшее программное ядро, трудно будет этому что-то противопоставить. И тогда доходы от контекстной рекламы неизбежно упадут.
P.S.
Еще раз я получил подтверждение того, что Яндекс развивается в русле Гугл. Вот теперь в след за Гугл в Яндексе собираются делать живой поиск и использовать созданный в Гугл же язык программирования V8.
Google ведет переговоры с Еврокомиссией
Компания Google ведет переговоры с властями Европейского союза по урегулированию антимонопольного расследования о злоупотреблениях на рынке поисковых систем. Напомню, что в Европе Google занимает доминирующие позиции. Еврокомиссия за нарушение правил ЕС только в прошлом году уже обязала Google выплатить по 1 млрд. евро Microsoft и Intel. Теперь Google путем переговоров с европейскими регуляторами надеется избежать штрафа, которые может составить до 10% от ее мировой выручки, пишет Reuters со ссылкой на свои информированные источники.
Европейская комиссия начала расследование в отношении Google в конце ноября прошлого года, когда корпорацию обвинили в нарушении законов о честной конкуренции. Еще раньше, в феврале 2010 года на Google поступили жалобы от британского сервиса Foundem.co.uk, помогающего пользователям сравнивать цены на товары и услуги, французского «юридического» поисковика eJustice.fr и немецкого сервиса Ciao.de, связанного с Microsoft через Bing.
Эти организации жаловались, что Google, пользуясь своим монопольным положением на рынке поисковых систем, подрывает бизнес конкурентов, занижая позиции их сайтов в результатах поиска. Также были жалобы, что Google завышает цены на контекстную рекламу для своих прямых конкурентов.
По неофициальной информации, публикуемой Reuters, «определенный интерес проявляют обе стороны [Google и Еврокомиссия], ведутся предварительные переговоры, однако какие-либо конкретные предложения еще не обсуждались». Решение Еврокомиссии по этому делу может занять несколько месяцев, отмечает Reuters.
Возможно, что именно в связи с этими расследованиями Google провела операцию по дискредитации поисковика Bing, обвинив его в том, что Bing ворует выдачу у Google. Операция выполнена довольно элегантно. В Google придумали несуществующие запросы, вроде «hiybbprqag» и сформировали по ним подложную выдачу. Затем сотрудники Google подсунули результаты Microsoft через браузер Internet Explorer 8 посредством функции рекомендуемых сайтов.
Оказалось, что поисковые роботы машины Bing анализируют не только интернет, но и подсматривают, что пользователи добавляют в рекомендуемое. В результате поисковик Bing, воспроизвел выдачу Google по запросу этих несуществующих слов. Ну что ж, Google довольно изящно щелкнул Microsoft по носу, хотя это и не извиняет его собственные манипуляции с результатами поиска. Просто теперь стало понятно, что оба этих гиганта не брезгуют подтасовками поисковой выдачи.
У нас в стране считается, что сфера поисковых сервисов в интернете не находится в области контроля антимонопольного законодательства и ФАС, хотя в этой области тоже доминирует одна поисковая машина Яндекс. Видимо, мы еще не доросли до осознания важности поисковика в повседневной онлайн жизни наших сограждан. Так что таких юридических баталий в нашей стране в ближайшее время не предвидится.
Фото с сайта seonews.ru
Идут переговоры между Google и Rambler
Газета Ведомости от 21.01.2011 г. сообщает, что по информации от сотрудников компании Рамблер и ее акционеров в скором времени произойдет замена поиска Rambler на партнерский. Переговоры параллельно ведутся с «Яндексом» и Google с осени 2010 г.
В переговорах лидирует Google, скорее всего, на портале будет установлен его поисковый движок – есть сведения, что компания Rambler уже одобрила это партнерство. Но договор еще не подписан. Представители Google от комментариев воздерживаются.
Rambler пару лет назад собирался сменить свой поиск на Google и продать американской компании сервис контекстной рекламы «Бегун», но продажа не произошла по решению ФАС. По слухам, истинной причиной срыва сделки послужило отрицательное отношение премьера Владимира Путина к использованию на этом российском сайте зарубежного поиска, так считают акционеры Rambler.
Но в 2008 г. речь шла о продаже такого российского актива (имеется ввиду контекстная рекламная сеть Бегун), который мог дать иностранцам преимущество на российском рынке интернет-рекламы, сейчас система рекламы Бегун не продается. В самом деле, никто не чинил препятствий в замене поиска на Mail.ru, отказавшегося от сотрудничества с «Яндексом» и установившем Google.
Счетчик Liveinternet показывает, что за период 2008-2010 г. доля Rambler упала с 11 до 1,5%. Для Rambler партнерство с Google будет комфортным. Напртив, партнерство Рамблера с «Яндексом» сомнительно из-за Бегуна, который является конкурентом Яндекса. Да и практика Бегуна с его накрутками контекстной рекламы будет несовместима с добротным имиджем рекламной сети Яндекс Директ. Из-за появления партнера с такой подмоченной репутацией, как Бегун, Яндекс может больше потерять, чем приобрести.
Яндекс - рост доходов от контекстной рекламы в 2010 на 45%
Компании друг за другом подводят итоги прошедшего года. Первым из крупных участников рынка интернет-рекламы отметился Яндекс, опубликовав свой пресс-релиз с предварительными итогами.
Консолидированная выручка в рублях (рассчитанная по US GAAP) увеличилась по сравнению с предыдущим годом на 43% и составила 12,5 млрд. рублей (410 млн. долл. США).
Из этих денег 88% приходятся на доходы от контекста. Т.е. доходы Яндекса от контекстной рекламы в 2010 г. составили 11 млрд. рублей. По отношению к 2009 году продажи контекстной рекламы Яндекс Директ выросли на 45%.
Количество рекламодателей в контекстной сети Яндекса выросло более чем на 40%, превысив в 2010 году 180 000 клиентов.
«Главным результатом года для нас стало увеличение доли поиска Яндекса, которого мы добились благодаря постоянной работе над качеством продукта, — говорит генеральный директор компании Аркадий Волож. — Значительный рост доходов компании в 2010 году отражает две важные тенденции — оживление малого и среднего бизнеса после кризиса и перетекание рекламных бюджетов из других каналов в интернет».
Важную роль в росте доходов от контекстной рекламы Яндекса сыграло увеличение доли поиска:
А еще в прошедшем году Яндекс открыл портал для Беларуси (yandex.by), запустил поиск по зарубежным сайтам (yandex.com), региональный поиск для Украины и ряд специализированных сервисов — Яндекс.Недвижимость, Яндекс.Работа, Яндекс.Музыка, Яндекс.Услуги.
Кремль отказался от идеи создать Государственную поисковую систему
«Ведомости» пишут:
Государство не будет финансировать создание национальной поисковой машины — конкурента Яндекса или Google, но поддержит разработку российской операционной системы — конкурента Windows
выпуск за 27 октября
А жаль 
Эту информацию они почерпнули из полученной ими копии проекта федеральной целевой программы «Информационное общество», разработанного Минкомсвязи и одобренного президиумом правительства в конце сентября. В проекте остался толькопоисковик для ведомственных нужд, с помощью которого чиновники будут искать документы в министерских базах данных, а остальные пользователи — находить нужные документы на сайтах госорганизаций. В 2011 г. разработчики ФЦП рассчитывают получить под этот поисковик из бюджета 150 млн руб., а в 2011-2013 гг. — еще 470 млн руб.
О государственном поисковике заговорили весной этого года, когда сотрудники Яндекса, Mail.ru и Rambler стали получать от некой структуры предложения о переходе на работу в этот проект.
Что ж, будем и дальше жить с монополистом.
Технический директор Яндекса И.Сегалович часто фотографируется в экстравагантных нарядах
Как обычно, Яндекс идет по пути, проложенному Google. Подобно тому, как Google создал отдельную страницу только для поиска по государственным сайтам, Яндекс анонсировал создание поиска по сайтам гос. органов.
Об этом сообщил Илья Сегалович – технический директор компании Яндекс.
«Объем контента на государственных сайтах заметно растет. Есть смысл заниматься отдельным поисковиком, работающим именно с государственным сегментом», – сообщил он. В качестве удачного примера поиска по государственному сегменту Сегалович привел американский Google: «Это удобный сервис и я бы хотел, чтобы в России было что-то похожее». Сам «Яндекс» готов сотрудничать с государством в части консультирования и экспертной поддержки.
В США у Google, действительно, работает US Government Search (с неформальным названием UncleSam). На этой специальной странице выдается результат поиска только по американским правительственным сайтам. В выдачу попадают, например, сайты Белого дома, космического агентства NASA, Государственного департамента, Федеральной избирательной комиссии и в таком же духе.
Напомню, что сообщения о начале создания государственной поисковой машины появились этим летом. Тогда сообщали, что разработка госпоисковика должна обойтись в 3,3 млрд руб. По тем же госпланам, госпоисковик должен быть введен в работу в конце 2011 г. Поисковик будет создан за счет государственного финансирования, и должен работать под государственным контролем.
Ни один из существующих поисковиков не подошел на роль государственного. В частности, Яндекс, был признан не годящимся на эту роль из-за того, что имеет голландского акционера.
Это новое заявление Яндекса можно рассматривать как игру на опережение в предстоящей конкурентной борьбе с новой поисковой машиной.
Обнаружено, что Punto Switcher передает в Яндекс данные без ведома пользователя
В интернете опубликована статья о том, что распространяемая Яндексом программа Punto Switcher передает на сервера Яндекса данные о своих пользователях и о конфигурации их компьютера. Сервер Яндекса возвращает в ответ текст «Ok».
Punto Switcher – очень популярный и удобный клавиатурный переключатель. Если вы забыли переключить разкладку клавиатуры и набираете что-то типа цццюзкщырштюкг, то он это заметит, сам переключит раскладку и автоматически заменит текст на www.proshin.ru. Это очень удобно, сам пользуюсь.
У программы есть несколько побочных функций. Например, «дневник» – запись в один файл всего, что набиралось на клавиатуре. Эта функция по умолчанию выключена. До недавнего времени была еще функция передачи разработчику закладок браузера – для сбора статистики. Программа при установке просила подтверждение этой функции. Т.е., в принципе, в программе всегда были реализованы функции, необходимые для программы-шпиона.
Сейчас подобные шпионские функции зачем-то задействовал владелец программы Яндекс. Делается это якобы для запроса обновлений. Сейчас в Яндекс передается информация о версии операционной системы. Но если пользователь при установке отказывается от обновлений, данные все равно передаются. Мало того, данные продолжают передаваться даже после деинсталляции программы, т.к. для этого используются средства самой операционной системы Windows.
Реализовано это так, что штатными средствами такую утечку данных определить практически невозможно!
Особо бдительные пользователи забили тревогу, сегодня Яндекс отдает ответ ОК, а завтра может запросить конфиденциальную информацию, хранящуюся на компьютере пользователя (закладки, пароли и т.п.). И Switcher может выполнить эту команду.
Автор этого наблюдения разместил на страничке программы Пунто Свитчер (на сайте Яндекса) описание этого поведения и задал вопросы:
- зачем понадобилось закладывать это поведение в Свитчер?
- что еще, кроме собственно Свитчера, устанавливается в систему?
- какие данные вы запрашиваете и передаете в Яндекс?
С сайта Яндекса эта информация была удалена через несколько минут. Поэтому можно понять, что такая работа программы, скорее всего, была не случайной ошибкой, а специально заложена в нее.
У меня по этому поводу есть предположения. Несколько лет назад Яндекс сообщал об экспериментах по поведенческому ранжированию результатов поиска.
Напомню, что широко известны два вида ранжирования поисковой выдачи – внутреннее (оценивающее релевантность сайта запросу) и ссылочное (в зависимости от ссылок на сайт). Ссылочное ранжирование появилось в результате признания того, что современные поисковые машины не могут сами определить ценность сайта и вынужденны использовать оценку пользователей. За оценку сайта принимается количество внешних ссылок на сайт – чем больше, тем сайт признается ценнее. Знание правил ранжирования и манипулирование ими лежит в основе SEO – поискового продвижения сайтов.
Речь идет о новом виде ранжирования результатов поиска – поведенческом. В качестве оценки принимается поведение пользователя на сайте, на который он перешел. Если по поведению пользователя будет понятно, что сайт его не удовлетворил, то оценка сайта будет понижаться. Если пользователь зачитался сайтом или загружает с него много данных, то этот сайт должен получить высокую оценку.
Вот только, как Яндекс может получить, информацию о том, что делал пользователь на сайте? Ведь пользователь после поиска покинул поисковую машину и его браузер больше не обменивается с нею информацией. Т.е. Яндекс нуждается в источниках информации о том, что делает человек на различных сайтах, особенно после поиска.
Сейчас есть разнообразные данные о том, что алгоритмы поведенческого ранжирования уже реализованы Яндексом, хотя официального заявления об их использовании не было. В качестве источников данных о поведении пользователей почти наверняка используются:
В ближайшее время я напишу подробнее о том, что известно про поведенческое ранжирование, и какие есть данные о его реализации в алгоритмах поиска Яндекса.
Rambler может отказаться от собственного поиска
РБК daily сообщает, что Рамблер подыскивает новый движок для своего поиска, т.к. собирается отказаться от своего собственного. Он рассматривает возможность заключить партнерское соглашение с Яндексом или Google.
Решение о замене движка продиктовано тем, что после объединения с Афишей Rambler «полностью перейдет в развлекательную плоскость», а собственный поиск поддерживать в такой ситуации «не имеет смысла». Об объединении стало известно в прошлом месяце. Тогда же вместо Ольги Турищевой на пост генерального директора компании был назначен руководитель «Афиши» Николай Молибог.
Директор по связям с общественностью компании Rambler Константин Воронцов не дает официальных комментариев этого известия, говоря, что новая команда только начинает работу и пока ничего конкретного по судьбе собственной поисковой машины не решила.
В Яндексе говорят, что начинали переговоры о поисковом движке в начале года, но эти переговоры ничем не завершились. Представители Google от официальных комментариев отказались.
Аналогичное решение недавно приняла американская компания Yahoo!, которая заменила свой поисковый движок на поисковую машину, разработанную компанией Microsoft.
Напомню, что доля Rambler на рынке поисковых машин за последние 2,5 года сократилась с 14,9 до 2,5%.
...