SERP: эксперименты |
Владелец:
gala |
Последние исправления:
3 марта 2011, 18:37 |
Менеджер: Дмитрий Спасский
Программинг: Алексей Киричун
Метрики: Вадим Никулин
Директ: Илья Шульман
Фидбек от пользователей: Михаил Березин
35 Контрольный эксперимент на 4% (25.03.08)
60 Контрольный эксперимент на 2% (17.10.08)
A-B testing: результаты, графики
№ | Аудитория | Jira | Запуск | Заказчик | Комментарии | Примеры |
296, 60 | 2% | EXPERIMENTS-144 In Progress Смешивание выдач (team-draft interleaving) qkrorlqrЭксперимент на 2% пользователей, в котором в выдаче смешиваются результаты от двух источников методом team-draft interleaving с целью сравнения этих двух источников по кликам. Источники: WEB и WEB_EXPERIMENTAL - в случае, когда оба источника ответили и была запрошена первая страница выдачи, смешиваем их ответы указанным способом. Описание: http://wiki.yandex-team.ru/AndrejjStrelkovskijj/Interleaving Назначить | Комментировать | Редактировать | 16.02 | Андрей Стрелковский | ||
5 | 50% | EXPERIMENTS-164 Analyze Перенос скрипта Находок в футер saniaSERP-3657 выкатить на 50%. Хотим померить: 1. first_click_time 2. answer_time 3. total_request_count 4. total_click_count Делаем выборку для пользователей с включенными Находками. Надеемся, что потери кликов в Находки будут незаметны. Назначить | Комментировать | Редактировать | 16.02 | Александра Ямпольская | Можно выключать | |
9 | 50% | EXPERIMENTS-165 Analyze Отключение прокраски интентов в Разнообразии vnikЦели: 1. Сравнить падение кликов с приростом от EXPERIMENTS-134 и оценить-таки вклад в победу переранжирования и прокраски. 2. Честнее оценить абсолютный вклад от дополнительной прокраски на выдаче. Андрей, напишешь, когда в репорте появится возможность включить такую штуку под параметром? Назначить | Комментировать | Редактировать | 22.02 | Михаил Лебедев | ||
317, 35 | 4% | EXPERIMENTS-161 Analyze Ранжирование картиночного колдунщика vnikДобрый день! Заведите, пожлауйста, эксперимент на 4% для нового ранжирования картиночного колдунщика. Теперь позиция показа будет выбираться не жестко по спискам, а с учетом ctr колдунщика и результатов поиска. Позиция оказа будет роизвольной. Требуется замерить влияние изменений на первый результат поиска. Ожидается, что его кликабельность не просядет, хорошо, если даже немного вырастет. Назначить | Комментировать | Редактировать | 8.02 | Лия Карепова | Предполагаемая дата отключения - с 24.02 | |
318, 319, 320 35 | 4% UA, BY, KZ | EXPERIMENTS-166 Analyze Эксперименты по отключению разнообразия в КУБе gromakЛеша, заведи, плиз, 3 эксперимента: -- в Украине -- в Беларуси. -- в Казахстана Каждый на 4% аудитории и все они отличаются от продакшена параметром &rearr=Diversity_off. Хотим посмотреть на клики при отключенном разнообразии в КУБе. Спасибо. Назначить | Комментировать | Редактировать | 8.02 | Светлана Громак | Предполагаемая дата отключения - с 24.02 | |
321, 35 | 4% | Нам необходимо запустить эксперимент. Суть эксперимента: Мы запускаем ответы музисточником по новом классу запросов: "Исполнитель скачать" (пример: [madonna скачать] или [madonna mp3]) По таким запросом, музисточник планируется ставить на первое место. Что мы хотим посмотреть: Кликабельность первого места органической выдачи по этому классу запросов и кликабельность ответов от музисточника, сравнить их и понять "полезность" внедрения. Размер аудитории: 4% (хотелось бы). Срок: Неделя. Назначить | Комментировать | Редактировать | 8.02 | Сергей Файфер | Предполагаемая дата отключения - с 24.02 | Мадонна mp3 |
309, 310 | 10% | EXPERIMENTS-162 Analyze Центрированный серп vnik10% аудитории. Эксперимент будет идти не менее 2х недель, чтобы оценить результаты в динамике. Измеряем:
Если возможно, то хочется посмотреть на метрике в разрезах по стандартным разрешениям экранов. Описание проекта: http://wiki.yandex-team.ru/SERP/projects/centeredserp Назначить | Комментировать | Редактировать | 8.02 | Евгений Годов | Предполагаемая дата отключения - с 24.02 | 100% во внутренней сети |
6 | 50% | EXPERIMENTS-160 Analyze Размеры кеглей тайтлов и сниппетов на мобильном серпе causeloveНужны две выборки на msearch по 10% - основная и контрольная. Регионы все. Ограничения по phone_detect: В выборки не включать family_id=19 (это опера мини, которая всегда использует свои шрифты) У одной выборки будет увеличенный кегль в тайтле, у контрольной - останутся равные кегли, как сейчас. С этим экспериментом посчитаем мобильный серп по всем основным метрикам, заодно получим, наконец, все данные по поведению мобильных пользователей (о чем завели речь в EXPERIMENTS-137) с оговоркой - юзеры оперы мини не будут учитываться в расчетах. Ожидания: Общая кликабельность будет чуть выше при увеличенном кегле тайтла Позиция первого клика будет чуть выше при увеличенном кегле тайтла Версталось здесь: MOBSEARCH-467 Назначить | Комментировать | Редактировать | 8.02 | Дмитрий Козлов | Предполагаемая дата отключения - с 24.02 | (не работает в opera mini) |
308, 35 | 4% | EXPERIMENTS-146 Analyze Прокраска интентов в Директе ishwestВыделяем в рекламе слова связанные с запросом, аналогично тому, как делалось с органической выдачей в EXPERIMENTS-134 Аудитория 4% Длительность: одна полная нормальная неделя, с возможностью продлить еще на неделю. Считаем влияние на Директ. Надеемся увидеть прирост CTR Директа более +1%% Назначить | Комментировать | Редактировать | 20.01 | Илья Шульман | Закрываем со следующим релизом | Постельное белье |
307, 35 | 4% | Описание проекта: http://wiki.yandex-team.ru/SERP/projects/address Рабочая таска: SERP-3602 доступно на зело Хотим посчитать кликабельность зеленой строчки. Ожидаем, что клики должны вырасти, поскольку для перехода на карты теперь нужен один клик вместо двух. Назначить | Комментировать | Редактировать | 20.01 | Евгений Годов | Предполагаемая дата отключения - c 14.02 (обновлен 7.02) | Инвитро |
297 (4%), 298 (2%), 35, 60 | 2% и 4% | EXPERIMENTS-147 Analyze Просьба сделать еще два контрольных эксперимента malikovНа текущий момент есть два контольных эксперимента 35(4%) и 60(2%). После перехода в расчетах метрик с получасовых данных на дневные разница между двумя контрольными увеличилась данные за ноябрь. Есть предположение, что это связано с разными размерами выборок. Просьба сделать еще два контрольных эксперимента на 4% и 2% соответственно. Ожидается, что при сравнении двух контрольных экспериментов с одинаковыми размерами выборок статистически значимых изменений в измеряемых метриках быть не должно. Метрики - все, как у 35 и 60 экспериментов. Срок проведения экспериментов - ориентировочно месяц. Назначить | Комментировать | Редактировать | 3.12 | Артур Маликов | Исследование проходит дальше, необходимо еще время. Возможно оставим эти 2 контроля контрольных навсегда | Нет |
281, 60 | 2% | EXPERIMENTS-141 Analyze Отключаем ограничение зарубежа по латиническим в России gromakХочется провести эксперимент, обратный EXPERIMENTS-125 -- на той же аудитории мы отключаем ограничение по количеству зарубежных результатов. Проверяем на кликах, что нам дает это ограничение, ожиданий от метрик нет. В целом так: Если клики не просядут, то естественное ранжирование новой формулой по латиническим запросам не нуждается в ограничениях по количеству подмешиваемых зарубежных результатов. Назначить | Комментировать | Редактировать | 2.12 | Светлана Громак | Оставляем еще на неопределенное время |
№ | Аудитория | Jira | Запуск | Заказчик | Пример |
Ранжирование | |||||
Колдунщики | |||||
Сниппеты | |||||
7, 8 | 4х25% | EXPERIMENTS-169 Open Все хиты и разнообразие многофрагментных кандидатов в сниппетах thatguyНужны два пересекающихся эксперимента на SNIPPETS-909 Меняются только сниппеты, не чаще, чем в 30% случаев (на самом деле сильно реже). &relev=uts=36 - все хиты &relev=uts=37 - разнообразие многофрагментных &relev=uts=35 - и то, и другое Взвесьте, пожалуйста, из каждого по 25%, и ещё 25% контроля. Базовый с поддержкой этого всего уже в продакшне. Назначить | Комментировать | Редактировать | ?.02 | Михаил Лебедев | 1. Надо запустить только половину - с test-bit=7 (на 50%) 2.Чинят порчу кэша для оставшейся части эксперимента |
Интерфейсы | |||||
Технологические | |||||
Мобильное | |||||
Другое | |||||
..., 60 | 2% | EXPERIMENTS-180 Open Показ рекламы на серпе со счётчиком thatguyАудитория - 2% Меряем - деньги Директа Срок - 2 недели В рамках подготовки к перезапросам и показам рекламы по опечаткам, мы хотим переделать порядок показа рекламы. Сейчас, когда поиск у нас запрашивает рекламу, мы сразу записываем себе в лог, что все отобранные баннеры были показы (за исключением блока "динамики" директа, показы которого засчитываются по факту загрузки счётчика-пикселя). Чтобы из-за перезапросов у нас не завышались показы (рекламу отдали, но не показали), хочется перестать записывать в лог отданную рекламу и полностью перейти на использование специального счётчика-пикселя. Я сделал новый вызов: 145, который полностью эквивалентен 2, 98 и пр. за исключением: - в блоке direct_dynamic ушёл visibility_counter (соответственно, не нужен и серповый код, который его поддерживает - но пока только в эксперименте!) - в болке stat добавился bs_counter, который содержит длинную ссылку, вида: http://yabs.yandex.ru/count/79DxuIc_vfK40XW0ZhuRuTO4MHAHlyPjOm-JXGsY0di2=oh6P1fK1cm5kGucldZ8magWV5HYTdmOLeA18w06KaxeSfvM6145w1000=rYEhN9K1cm5kGpA9egidAfAf3byKdQgTZW6We5fY0fIGg3Adbhe6GNm4=MyuC6vK1cm5kGpE9eo47C9AgcvqNdQCHPGQWeCe20PIH6HQdb8m3GNm4=vCh9JvK2cm5kGpA9h41s4PAcl846dPM21w2G9FIKclKFfvvm0q5w1000=I8iQffK2cm5kGpE9hmLVC9AhwouOdQV-RGQWa3v9b9le8wUUR0D1UmG0=GnNQsvK2cm5kGpI9hFJi4fAjQuS3dPX13w2G2JsKdmaffvGl145w1000=cpBCOPK2cmHkGpM9f59Y7vAkOw8EdP605g2GQXYKaLqEfvhg0a5w1000 Урл из bs_counter надо безусловно выводить на странице в самом "лучшем" месте - там, где он гарантированно загрузится. Сначала экспериментом проверяем, что мы не теряем деньги, т.к. при потере таких ссылок (=показов) мы потеряем и клики. Если эксперимент покажет, что всё хорошо, тогда сначала запустим этот вызов на всё, а потом будем проводить второй эксперимент - делать перезапросы. Лёша, перед выкладкой покажи, на всякий случай бету, а то потерять 2 % экспериментальной выручки тоже не хочется :) Назначить | Комментировать | Редактировать | ?.03 | Захар Плющ | |
..., 60 | 2% | EXPERIMENTS-181 Open Маркет в спецразмещении kaaПривет, Нужно сделать эксперимент с новым вызовом крутилки (bspage=98) на 2%. Точно также как и раньше. Бета: http://zelo.yandex.ru/yandsearch?text=fubag+in+160&lr=213&bspage=98 Назначить | Комментировать | Редактировать | ?.03 | Алексей Авдей |
+ внедрен
- не внедрен
~ исследование проведено
? проведен, ожидается результат
№ | Аудитория | Описание и задача в Jira | Длительность | Внедрение | ||||||||||||
11Q1 | ||||||||||||||||
3, 4 | 4x25% | EXPERIMENTS-148 Analyze Новостная врезка vnikСуть: заменяем ранжирование свежих результатов на ранжирование по релевантности из Новостей, группируем новостные результаты и снабжаем их спецсниппетами. . Нужно сделать четыре эксперимента по 25%: 1) контрольный (как сейчас) 2) выдача Новостей (rearr=news=da) 3) выдача Новостей с группировкой (rearr=news=gr) 4) выдача Новостей с группировкой и спецсниппетами без новостного колдунщика (rearr=news=gr) Саша Головко допишет, как отключать колдунщик и включать дизайн в 4 пункте Назначить | Комментировать | Редактировать | 20.01-3.02 | - | ||||||||||||
322 | 4% | EXPERIMENTS-171 Analyze отключение показов параллельных видео и картинок на непервых страницах выдачи nurkaХотим эксперимент, в котором параллельные колдунщики картинок и видео не будут показываться в блоке справа на страницах выдачи, отличных от первой (т.е. на 2-ой, 3-ей и т.д.). Показы только на первой. Цель: оценить поведение директа при таких непоказах. Если отклонение CTR директа будет несущественным, то тогда хотим вобще отключить обращение к параллельным источникам на не-первых страницах. Другие колдунщики уже не показываются. Выборка и сроки стандартные: 4% на неделю. Назначить | Комментировать | Редактировать | 8.02-2.03 | ~ | ||||||||||||
324 | 2% | EXPERIMENTS-172 Analyze Отключаем показ второго документа constЦель: 1)Собрать статистику по кликам для последующего переобучения формулы показа второго документа 2)Посмотреть тенденцию: стали ли пользователи больше кликать на второй документ (относительно момента запуска второго документа в продакшен) Длительность: 2 недели Доля аудитории: 2% Суть эксперимента: Отключаем показ второго документа (добавляем параметр &rearr=no2docs). Спасибо! Назначить | Комментировать | Редактировать | 16.02-2.03 | ~ | ||||||||||||
323 | 2% | EXPERIMENTS-170 Analyze Второй документ с сайта - сбор статистики constЦель: Собрать статистику по кликам для последующего переобучения формулы показа второго документа. Длительность: 2 недели Доля аудитории: 2% Суть эксперимента: Показываем второй документ всегда, когда он есть (добавляем параметр &rearr=all2doc). Доп. информация: Второй документ будет показываться по принципу [2x2] - не более 2х документов с сайта, не более двух таких сайтов в выдаче. Пример: http://yandex.ru/yandsearch?text=rbc+%D1%83%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D0%B0&lr=213&rearr=all2doc Назначить | Комментировать | Редактировать | 8.02-2.03 | ~ | ||||||||||||
290 | 10% UA | Бета: SEARCHADMIN-806 Результаты обстрела с визой pg: SEPE-1450 Метрики: abandonment, click_count, first_click_pos, long_dwelltime_rate Ожидания: на затронутых запросах abandonment падает, click_count растет, first_click_pos не меняется, long_dwelltime_rate увеличивается. Назначить | Комментировать | Редактировать | 3.11-2.03 | - | ||||||||||||
300 | 4% | Надо на СЕРПе заменить таб [Блоги] на [Музыка] (ведет на music.yandex, так же как и с http://www.yandex.ru/all) Таб [Блоги] убираем, т.к. под [еще] его не засовываем (там итак много чего), а на http://www.yandex.ru/all он итак присутствует + нужен счетчик на таб [Музыка] Назначить | Комментировать | Редактировать | 14.12-08.02 | - | ||||||||||||
301, 302, 303 | 2% | 2% - если на основном найдено менее 40k документов (оценка), дозапрашиваем мусорный rearr=tierthreshold%3D10;tierlimit%3D40000 2% - всегда ходим на мусорный шард rearr=tiermask%3D3 2% - никогда не ходим на мусорный шард rearr=tiermask%3D1 Назначить | Комментировать | Редактировать | 14.12-28.01 | ~ | ||||||||||||
299, 35 | 4% | EXPERIMENTS-149 Analyze Увеличиваем расстояние между сниппетами ishwestЭксперимент на 4%, если возможно, то на 10%. Увеличиваем расстояние между сниппетами. Вероятно поплывут метрики кликабельности (меньше результатов будет умещаться на первом экране) Цель эксперимента: хотим сделать красивее и понять, что ухудшим. Назначить | Комментировать | Редактировать | 14.12-28.01 | ~ | ||||||||||||
306 | 4% | Формула пока на woogie3, срабатывает по &relev=uts=31 только для 4+словных запросов. Нужен эксперимент на 4%. TWIMC: Сегментаторные факторы, MatrixNet, классифицирующий пары кандидатов, выбор лучшего происходит в один проход. Блайнд: SNIPPETS-914 Приемка: BETATEST-1213 Назначить | Комментировать | Редактировать | 17.01-28.01 | - | ||||||||||||
294 | 8% | Аудиотория -- 8% Назначить | Комментировать | Редактировать | 2.12-20.01 | - | ||||||||||||
35+297, 295 | 8% | в эксперименте: - колдунщики будут ранжироваться на разных местах: 1, 2(после витального), 4,7,последнее; - иногда колдунщиков будет больше: 3-4 на запрос; - новости смогут показываться выше практически любых колдунщиков (трагедия с Невским экспрессом, когда показывали расписания на 1м месте) - по ряду запросов колдунщики уйдут совсем Назначить | Комментировать | Редактировать | 8.12-20.01 | + | ||||||||||||
304, 60 | 2% | Тестовый bspage=98. Регионы - Россия. Напишу позже как будет готов тестовый вызов. Назначить | Комментировать | Редактировать | 14.12-20.01 | - | ||||||||||||
305, 35 | 4% | Формула в продакшне, срабатывает по &relev=uts=26 только для 4+словных запросов. Нужен эксперимент на 4%. TWIMC: Сегментаторные факторы, 4й критерий качества (позиция, предсказанная по 1vs70), раздельный режим обучения (--separated). Блайнд: SNIPPETS-903 Приемка: BETATEST-1213 Назначить | Комментировать | Редактировать | 14.12-20.01 | - | ||||||||||||
10Q4 | ||||||||||||||||
245, 35 | 4% | Формула работает с параметром pron=latinexp: http://yandex.ru/yandsearch?text=fluid+dynamics http://yandex.ru/yandsearch?text=fluid+dynamics&pron=latinexp Приемка показала +4.7% по зарубежному pFound, хотим изучить клики. Ожидаем прирост :) Аудитория - стандартно. Назначить | Комментировать | Редактировать | 15.04-14.12 | ~ | ||||||||||||
1 | 50% | 10% РФ + контрольная Делаем статичный заголовок, добавляем кнопку вместо подписи Статика: http://serp.gfranco.user.graymantle.yandex.ru/pages/search/?b-adv=2 Оцениваем: CTR кнопки конверсию "перешел - разместил объявление" кликабельность всех объявлений Назначить | Комментировать | Редактировать | 2.10-14.12 | - | ||||||||||||
2 | 50% | Отрываем у ссылки "Все объявления" в спецразмещении число объявлений. Считаем CTR ссылки. Проверяем гипотезу о том, что эти цифры - визуальный мусор и они не влияют на принятие пользователем решения о том, надо ли кликать или нет. Назначить | Комментировать | Редактировать | 26.11-14.12 | + | ||||||||||||
287, 288 | 10% | У одной выборки будет поисковая строка продублирована снизу страницы, у контрольной - останется одна, как сейчас. Будем сравнивать CTR кнопки "Найти" вверху и внизу, и отдельно - вариант когда их две с вариантом, когда она только вверху. Вместо счетчиков - hidden-поле в форме. Ожидания: CTR кнопки "Найти", когда она одна - порядка 20% CTR, когда их две - примерно поровну, по 10% Версталось здесь: MOBSEARCH-504 Назначить | Комментировать | Редактировать | 12.11-2.12 | + | ||||||||||||
291, 60 | 2% | Контрольный 60-ый Для включения эксперимента нужно: rearr=person Назначить | Комментировать | Редактировать | 12.11-2.12 | - | ||||||||||||
289, 35 | 4% | Тестируем правило переранжирования Diversity, по части запросов добавляет в десятку результаты, максимизирующие wide pfound, и подсвечивает в найденных результатах пользовательские интенты. Метрики: abandonment, click_count, first_click_pos, long_dwelltime_rate Ожидания: на затронутых запросах abandonment падает, click_count растет, first_click_pos становится немного больше (чуть чаще кликают в середину и конец десятки), long_dwelltime_rate увеличивается Назначить | Комментировать | Редактировать | 3.11-2.12 | + | ||||||||||||
281, 60 | 2% | Зачем: Женя и Игорь Кураленок исследовали поведение пользователей которые знают и не знают английский (= не кликают на зарубеж вообще / кликают), хорошего сигнала там нет (см. письма на @foreign). Хотим более чистый эксперимент по выделению пользователей, которые "не хотят зарубеж". Что ожидаем: - Клики по пользователям, которые "не хотят зарубеж" вырастут - по остальным пользователям - просядут. Если это так, то занимаемся персонализацией дальше. Кроме этого по этим данным можно будет построить отдельный классификатор таких пользователей. Назначить | Комментировать | Редактировать | 22.10-1.12 | ~ | ||||||||||||
277, 35 | 4% | Оцениваем изменение интерфейса, логика не меняется. Считаем а) Общая трафикогенерация блоков картинок из видео. Сейчас на всех ссылках и тамбнейлах стоят ссылки. Нужно рассматривать их как ящик, в котором для эксперимента сократится число точек входа. Так для видео вместо 4 ссылок остаенется только 2. И оценить нужно будет изменение в общей кликабельности ссылок всего ящика для видео и картинок. б) Влияние на выдачу. Вадику нужно будет сказать об изменении, чтобы завел метрики. Прогноз: общая кликабельность "ящиков" может снизиться во время запуска, потом выправиться. Заведенную выборку нужно будет добавить в таску на верстку SERP-3722 Назначить | Комментировать | Редактировать | 14.10-26.11 | + | ||||||||||||
283, 60 | 2% | Готовим финальный эксперимент. Что он будет включать: 1. Показ совместно Маркета с Директом в одном блоке. - максимальное количество объявлений 9 - Маркет может попадать в динамику 2. Колдунщик предложений на 3 месте. Делаем на 2%, pageid вызова равно 98. Эксперимент запускаем, когда будут готовы все сопутствующие таски. Я отдельно напишу. Назначить | Комментировать | Редактировать | 2.10-26.11 | + | ||||||||||||
284, 60 | 2% | Суть эксперимента: делаем зеленые урлы под сниппетами кликабельными (не распространяется на колдунщики). У нас есть 3 типа урлов: 1) www.hotel-okt.ru - делаем кликабельным 2) www.mobile-review.com > Nokia N82 - сейчас у нас такие урлы кликабельные начиная со второй (и далее) части урла (aka меню в урлах). делаем первыю часть тоже кликабельной 3) imwerden.de/pdf/chudaki_vladimirov.pdf - делаем кликабельным только первую часть урла, чтоб можно было перейти на морду домена(типа imwerden.de) Хотим посмотреть, как перераспределяться клики, сколько уйдет с тайтла и сайтлинков P.S.: наверно надо не забыть и убрать ранее внедренное SERP-3668, потому как это частный случай Назначить | Комментировать | Редактировать | 2.11-26.11 | + | ||||||||||||
285, 35 | 4% | Нужный базовый уже в production. Включать формулу так: &relev=uts=25 Помимо стандартных кликовых данных хотим сравнивать скроллы. Назначить | Комментировать | Редактировать | 12.11-26.11 | + | ||||||||||||
286, 35 | 4% | Мы заметили интересный момент в поведении пользователей: В музисточнике есть определенные хосты, у которых favicon совпадает с favicon'ом Zaycev.net (в виде старого логотипа winamp'а - молнии). CTR ответов с таких хостов порядка 40%, что заметно выше, чем у всех остальных. Есть предположение, что пользователи узнают Zaycev.net по favicon'ке. Хочется оторвать у Zaycev иконку, и посмотреть как будут реагировать пользователи. Ожидаем рост CTR муз.источника. Возможно, рост доли длинных кликов у муз.источника. Аудитория эксперимента - 4%. (Updated) Назначить | Комментировать | Редактировать | 12.11-26.11 | ~ | ||||||||||||
292, 60 | 2% | Хочется провести отдельный эксперимент с колдунщиком предложений Маркета на 3м месте выдачи. Сейчас в эксперименте 283 на 2% пользователей у колдунщика ~ 20 тыс показов и CTR ~ 15%. В результате отдельного эксперимента, нужно убедиться, что кликабельность у него не снизится. Хотим запустить колдунщик, не дожидаясь выкладки общего блока Маркет+Директ. Про колдунщик предложений здесь: WIZARD-3281 Назначить | Комментировать | Редактировать | 19.11-26.11 | + | ||||||||||||
282 | 4% | Изменение: отключаем спецсниппеты Сравниваем с контрольным №35, где эти сниппеты нормально показываются. *** Привет! Решили еще раз попробовать оценить вред наносимый спецсниппетами :) Нужно посчитать: Время до 1-го клика (first_click_time) Доля «хороших» кликов (long_dwelltime_rate) Доля запросов, в которых была инверсия очередности клика (inversion_rate) Среднее арифметическое позиции первого клика (first_click_pos) Средняя кликабельность серпа Кликабельность отдельного ресурса Тем самым можно будет увидеть как "распределилась лояльность" пользователей по отношению к сайтам со спецсниппетами. Леша, поставь, пожалуйста, флажок у запроса в любую из переменных relev/rearr/search_props. Спасибо! Назначить | Комментировать | Редактировать | 22.10-11.11 | ~ | ||||||||||||
278 | 10% | Пробуем добавить на мобильном серпе блок "в других поисковых системах". Нужна выборка 10% и контрольная. Регионы все. Посмотрим на CTR, сравним с CTR аналогичного блока на большом серпе. Если будет сильно выше - значит (наверное) наш моб.поиск - трешовый и это будет повод серьезно задуматься... Для сравнения - сейчас CTR всего блока на большом серпе - порядка 0,6% Назначить | Комментировать | Редактировать | 14.10-1.11 | + | ||||||||||||
269 | 10% | Метрика - число некликнутых серпов с похожими. В идеале их должно быть не больше 20ти%. Если идеала не получится - будем смотреть сессии и понимать по ним, насколько все хорошо/плохо/приемлемо. Еще одна цель эксперимента - немного понять о том, по каким запросам чаще всего нужны похожие и какие именно похожие интересуют пользователей. Спасибо! Назначить | Комментировать | Редактировать | 21.09-18.10 | + | ||||||||||||
279, 60 | 2% | Тестируем новое переранжирование зарубежа в среднем. Приемка дает добро - https://jira.yandex-team.ru/browse/BETATEST-1112 Чтобы переранжирование подцепилось, надо в средний передать параметр rearr=beta5. В продакшн средний с этим параметром выехал Назначить | Комментировать | Редактировать | 24.09-18.10 | - | ||||||||||||
280, 35 | 4% | Аудитория: 4%. Сроки: 1 неделя. Хотелось бы посчитать:
Назначить | Комментировать | Редактировать | 5.10-13.10 | + | ||||||||||||
10Q3 | ||||||||||||||||
250, 60 | 2% | 1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта. 2) Оценить влияние выдачи без нумерации на пользовательские метрики. Эксперимент 1. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Прогноз результатов:
Эксперимент 2. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Эксперимент 3. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Назначить | Комментировать | Редактировать | 13.05-14.10 | ~ | ||||||||||||
271, 272, 32, 60 | 2% и 4% | Назначить | Комментировать | Редактировать | 15.09-8.10 | ~ | ||||||||||||
273, 274, 275, 276 | 2% | Т. к. эксперимент достаточно деструктивный, длительность стоит ограничить тремя днями (например, вторник-четверг на следующей неделе). Назначить | Комментировать | Редактировать | 21.09-8.10 | ~ | ||||||||||||
266, 267 | 10% РФ | 10% РФ + контрольная Делаем статичный заголовок, добавляем кнопку вместо подписи Статика: http://serp.gfranco.user.graymantle.yandex.ru/pages/search/?b-adv=2 Оцениваем: CTR кнопки конверсию "перешел - разместил объявление" кликабельность всех объявлений Назначить | Комментировать | Редактировать | 19.08-29.09 | ? | ||||||||||||
257, 258 | 2x4% РФ | Сравниваем с текущим колдунщиком и смотрим:
Подробнее тут: http://wiki.yandex-team.ru/Auto/KoldunshikHTML И тут: SERPDESIGN-73 Назначить | Комментировать | Редактировать | 7.09-29.09 | + | ||||||||||||
270 | 4% | Базовый не меняется, в репорт нужно добавить uts=26 . Эксперимент нужен на 4%. Назначить | Комментировать | Редактировать | 7.09-20.09 | - | ||||||||||||
263, 264, 60 | 2% | Нужно сделать эксперимент на 2% пользователей. Суть: показываем Маркет+Директ единым блоком. Технически ничего менять нужно: Маркет будет приходить как часть объявлений Директа. Да и на время эксперимента пропадут колдунщики Маркета. Захар, сделай, пожалуйста, вызов, чтобы данные приходили в JSON для поиска. Максимальное количество объявлений в сумме равно 9. Что измеряем: кликабельность объявление в общем блоке справа кликабельность выдачи Назначить | Комментировать | Редактировать | 25.08-20.09 | + | ||||||||||||
268 | 10% | Пробуем поменять местами ссылки на полную версию сайта (в результатах поиска) и на мобильную версию (из каталога). На скриншотах показано "как щас" и "как будет". Нужна выборка 10% (это порядка 80 тысяч юзеров в день) и контрольная. Регионы все. Сравнивать будем CTR ссылки "Мобильная версия" в текущей реализации и CTR ссылки "полная версия" в экспериментальной. CTR "мобильной" сейчас порядка 15%. Если CTR "полной" будет заметно ниже (хотя бы в полтора раза) - можно будет уверенно говорить о том, что мобильная версия предпочтительнее. Соответственно, если мобильной версии у нас в каталоге нет - отдаем все как раньше. Также, кстати, понадобятся счетчики на экспериментальной версии - если сейчас счетчик считает показы/переходы мобильной версии, то нужно будет считать показы/переходы полной, там где по умолчанию отдали мобильную. Назначить | Комментировать | Редактировать | 7.09-16.09 | - | ||||||||||||
265 | 4% | Помимо стандартных кликовых данных хотим сравнивать скроллы с продакшном. После того, как примут формулу для коротких и выкатим базовый, расскажем, как включать. Эксперимент нужен будет на 4 процента, потому как меняется довольно малая часть потока. Назначить | Комментировать | Редактировать | 06.08 | ? | ||||||||||||
261 | 4% | На запросах где от 2 до 4 видеоснипетов (это примерно 40% от всех запросов с видеоснипетами или 4% случайных веб-запросов). Будем смотреть на пользовательские метрики. Эксперимент 1: собираем видеоснипеты рядом. Т.е. вместо 1-2-3-x-5-6-x-8-9-10 будет 1-2-3-х-х-5-6-8-9-10 Про разработку тут VIDEOPOISK-809 Бета тут, к запросу необходимо дописывать параметр http://judas2.yandex.ru/yandsearch?text=+%F0%EE%F1%F1%E8%FF+%EA%E0%ED%E0%E4%E0&rearr=wmode=w&lr=213. Для запуска эксперимента необходима выкладка верхнего метапоиска. Назначить | Комментировать | Редактировать | 12.07 | ? | ||||||||||||
260 | 4% | стандартно на 4% Измеряем стандартные показатели, обращая внимание на кликабельность последнего результата, длину сессий, долю некликнутых серпов. Назначить | Комментировать | Редактировать | 06.07-06.08 | ~ | ||||||||||||
254 | 4% | Хочется посмотреть на то, как изменится ctr музыкального результата и поведение пользователей в целом, если все сниппеты будут текстовыми (нет отвлекающих элементов, нет ярко выраженной возможности прослушать трек на серпе). Аудитория: 4%. Хочется посчитать:
Назначить | Комментировать | Редактировать | 25.06-23.07 | ~ | ||||||||||||
259 | 4% РФ | Завести инверсный эксперимент с версткой спецразмещения, как в старом варианте дизайна. Ожидаем падение CTR на 4-5%. Хотим проверить правильность эксперимента 242 https://jira.yandex-team.ru/browse/EXPERIMENTS-45 Назначить | Комментировать | Редактировать | 06.07-15.07 | ~ | ||||||||||||
251 | 4% РФ | Необходимо не отображать регион для всех объявлений Директа в СР и в блоке. Прогнозируем снижение CTR. Хотим узнать на сколько. Назначить | Комментировать | Редактировать | 25.06-15.07 | - | ||||||||||||
255, 256 | 2x4% РФ | Есть проблема - некрасивый тайтл колдунщика, который не дает понять, что на самом деле найдено очень много хороших картинок. Цель эксперимента - выбрать лучший из новых вариантов. Смотреть будем на ctr колдунщика. Текущий: "Москва картинки" в картинках В экспериментах хочется попробовать: 1. "Москва картинки" -- 12 млн. картинок 2. "Москва картинки" -- миллионы картинок Назначить | Комментировать | Редактировать | 06.07-12.07 | + | ||||||||||||
248 | 4% | Отличается числом источников Выборка на Смотреть будем на CTR колдунщика и пользовательские метрики. Назначить | Комментировать | Редактировать | 06.07-12.07 | - | ||||||||||||
172 | 2% | 1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта. 2) Оценить влияние выдачи без нумерации на пользовательские метрики. Эксперимент 1. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Прогноз результатов:
Эксперимент 2. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Эксперимент 3. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Назначить | Комментировать | Редактировать | 12.05-06.07 | + | ||||||||||||
249, 252 | 8% | Длительность: 2 полных недели Цель эксперимента - проверить, как повлияет перенос параллельного поиска вниз на поведение пользователей. 1. Не сделаем ли мы хуже тем, кто привык пользоваться картинкой справа, даже по некартиночным запросам. 2. Насколько картинки снизу менее заметны картинок справа: как изменится посещаемость Картинок и генерация трафика. Возможно, надо будет встретиться и подумать, что и как еще нужно будет посчитать. С нашей стороны для эксперимента все будет готово через неделю ориентировочно. Назначить | Комментировать | Редактировать | 01.06-1.07 | ~ | ||||||||||||
10Q2 | ||||||||||||||||
229 | 4% | Аудитория 4% (если нет возможности, то хватит и 2%, но так как у нас мало в потоке зарубежа, то лучше 4%) Очень надеюсь, что bs_test_tag будет выставляться и писаться в лог(!) :) Подробности эксперимента: Сейчас для всех латинических запросов показывается ограниченное число результатов на нерусских языках — максимум два. Для части запросов это ограничение будет снято, для части будет вообще исключены латинические ответы. Новая версия колдунщика querylang будет определять необходимое число результатов. Назначить | Комментировать | Редактировать | 29.03-25.06 | + | ||||||||||||
242 | 4% | 1. Расстояние между объявлениями 25px
2. Расстояние от ссылки «все объявления» до 1'го объявления 27px 3. Расстояние от последнего объявления до 1'го «ящика» выдачи 30px 4. Вертикальная черта слева от СР свисает ниже базовой линии последней строки последнего объявления на 3px Цель эксперимента: понаблюдать, как изменятся параметры Директа. Также в ходе эксперимента, будет интересно посмотреть, как изменятся параметры результатов поиска (первый клик, время до первого клика и т.д.) Эксперимент необходимо провести на 4%. Назначить | Комментировать | Редактировать | 01.06-25.06 | + | ||||||||||||
243 | 4% | Только в блоке спецразмещение сверху справа слово "Реклама" заменить на слово "Яндекс.Директ". Цель эксперимента: понаблюдать, как изменятся параметры Директа. Эксперимент необходимо провести на 4%. Назначить | Комментировать | Редактировать | 01.06-04.06 | - | ||||||||||||
246,247 | 2x2% |
Эксперимент 1 нужно на 4% аудитории (изменившихся сниппетов очень мало) Эксперимент 2 - на 2% аудитории Какими параметрами включаются эксперименты сообщит Дмитрий Иванков. Когда выедет соответствующий базовый сообщит Антон Шишкин. Назначить | Комментировать | Редактировать | 04.05-19.05 | ? | ||||||||||||
238 | 4% | 1. короткие сниппеты в production (для контрольного эксперимента надо будет включить счетчик скроллов) 2. эксперимент старая длина сниппетов (для этого эксперимента надо будет включить счетчик скроллов) 3. эксперимент новая формула сниппетовщика + старая длина сниппетов 4. эксперимент новая формула сниппетовщика + новая длина сниппетов. Эксперименты надо будет включить когда мы сообщим о выкатке базового поиска. Подробности какими параметрами включить эксперименты будут чуть позже. Что хотим измерять:
Назначить | Комментировать | Редактировать | 09.04-? | - | ||||||||||||
236 | 4% | Давайте запустим эксперимент, в котором будем ставить витальник на первое, а клуб на второе место. При этом срабатывать ранжирование должно только на запросы [марка модель], чтобы избежать омонимии. В аттаче обновленный список клубов, но в будущем, в случае успешного эксперимента, клубы надо находить автоматически. Текущий поиск яндекса очень хорошо справляется с этим -- добавляя к запросы [марка модель] слово клуб на выдаче всегда показывается авторитетный клуб. Андрей, спрогнозируй, пожалуйста когда это можно будет разработать и запустить. Назначить | Комментировать | Редактировать | 09.04-17.05 | - | ||||||||||||
244 | 2% | На 2% всех пользователей (не зависимо от региона) Планируем увидеть увеличение CTR. Назначить | Комментировать | Редактировать | 23.04-12.05 | ~ | ||||||||||||
230, 231 | 2x4% РФ | 1. Разместить ссылку "Разместить здесь объявление" (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_a) вместо ссылки "Все объявления" над блоком спецразмещения. Ссылку " 2. Добавить ссылку "Разместить здесь объявление" (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_1) к ссылке "Все объявления" над блоком спецразмещения. Ссылку " Дизайн может быть таким, как нарисовал Илья: ![]() Назначить | Комментировать | Редактировать | 09.04-23.04 | ? | ||||||||||||
240 | 4% |
На 4% пользователей измеряем стандартные показатели, клики на ссылки в меню Назначить | Комментировать | Редактировать | 09.04-23.-4 | + | ||||||||||||
Необходим отследить влияние на пользовательские метрики серпа для сессий, совершенных из экспериментальной морды. Считаем все стандартные http://wiki.yandex-team.ru/jandekspoisk/kachestvopoiska/abtesting#naborrasschityvaemyxpokazatelejj и влияние на Директ. Ожидается, что все показатели будут в пределах шума. Назначить | Комментировать | Редактировать | 29.03-19.04 | ~ | ||||||||||||||
232-235 | 4x4% РФ | В качестве контрольного используем №213 "Контрольный 4% РФ" 1. Объявления Яндекс.Директа (http://direct.yandex.ru?id=direct_ad) 2. Реклама в Яндекс.Директе (http://direct.yandex.ru?id=direct_adv) 3. Реклама на Яндексе (http://direct.yandex.ru?id=top_adv) 4. Объявления на Яндексе (http://direct.yandex.ru?id=top_ad) Считаем: CTR ссылок (statface), конверсия (Директ смотрит со своей стороны) CTR ссылки «Разместить объявление по запросу » Цель эксперимента: оценить влияние подобных действий на кликабельность и конверсию заголовка блока Директа. Назначить | Комментировать | Редактировать | 09.04-19.04 | - | ||||||||||||
241 | 4% | Подмешивание свежих результатов (из QUICK, ULTRA, REALTIME) происходит в несобытийные дни в среднем в 1,5% случаев. Эксперимент включается: &rearr=freshon Заведите его пожалуйста в ab_testing: запросы, задействованные в эксперименте search_props: UPPER.fr>0 Назначить | Комментировать | Редактировать | 05.04-14.04 | + | ||||||||||||
227, 228 | 2x4% РФ | Чтобы не заморачиваться с переводами, проводим только по РФ, Основная метрика: CTR ссылок. Ради интереса смотрим на кликабельность результатов. Изменения Эксперимент 1. сохраненная копия -> копия еще с сайта -> ещё При наведении нужно показывать подсказки: копия: Сохранённая копия страницы на сервере Яндекса ещё: Поискать "поисковой запрос" на сайте www.example.ru Эксперимент 2. сохраненная копия еще с сайта По умолчанию скрываем, но показываем при наведении на результат. Без градиента, рамочек и т.д. Назначить | Комментировать | Редактировать | 29.03-09.04 | ? | ||||||||||||
201 | 4% | Конкретнее: был намайнен набор запросов, по которым CTR зарубежа - очень низкий. Хотим по этим запросам оставлять 1 зарубежный результат максимум. Метрики стандартные. Ожидаем, что доля некликнутых выростет, прочие кликовые факторы по этим запросам тоже вырастут. Назначить | Комментировать | Редактировать | 22.01-07.04 | - | ||||||||||||
222 | 4% | Как и в прошлый раз будем считать влияние на пользователей (CTR, время первого клика) и Директ. Предыдущий эксперимент: https://jira.yandex-team.ru/browse/SERP-2033 Как только мы доделаем наши задачи https://jira.yandex-team.ru/browse/SNIPPETS-531 можно будет выкладывать. Назначить | Комментировать | Редактировать | 23.03-07.04 | ? | ||||||||||||
225 | 4% | Сроки: 1 неделя Аудитория: 4% По результатам эксперимента хотелось бы посчитать: - средний ctr кулинарных спецсниппетов; - время до первого клика (ожидается уменьшение); - количество кликов на странице (ожидается уменьшение); - другие стандартные кликовые метрики Вот хосты, для которых мы сейчас формируем спецсниппет: millionmenu.ru say7.info gotovim.ru kedem.ru good-cook.ru gotovim-doma.ru kuking.net kulina.ru Назначить | Комментировать | Редактировать | 23.03-07.04 | ~ | ||||||||||||
207 | 4% | Оцениваем базовые и метрики и влияние на Директ. Назначить | Комментировать | Редактировать | 02.03-07.04 | + | ||||||||||||
226 | 4% | С другой стороны, высказывались мнения, что на третью позицию попадают наиболее CPM'стые объявления (не знаю, правда это, или нет). Предлагается понять, что оказывает большее влияние на CTR: интерфейс или релевантность ссылок. Для этого предлагаю поменять местами второе и третье объявление в эксперименте на 4%. В случае, если картина кликабельности останется такой же, значит, наибольшее влияние оказывает интерфейс (я предполагаю, что именно так и будет). Если же кликабельность сместится на вторую позицию, то содержание объявления играет очень большую роль. В первом случае есть смысл поменять механизм торгов, чтобы люди понимали, за что они платят ("больше денег - больше CTR" вместо "больше денег - выше позиция"). Если же сработает второй вариант, то надо срочно заниматься релевантностью Спецразмещения. Назначить | Комментировать | Редактировать | 23.03-05.04 | - | ||||||||||||
224 | 4% | Хотим отдельно запустить подмешивание видеорезультата в выдачу (т.к. эта фича независима от колдунщика видео) -- https://jira.yandex-team.ru/browse/VIDEOPOISK-613 Прогон 18 тыс случайных запросов на бете показал, что подмешивание будет в 6,5% запросов. Спецразмещение показывается в 1 из 25 случаев подмешивания. Смотрим на непроседание Директа, и на метрики пользовательского поведения. Назначить | Комментировать | Редактировать | 23.03-05.04 | + | ||||||||||||
223 | 4% | в ходе последнего https://ml.yandex-team.ru/archive/thread10406225/#message10406225 удалось сдвинуться с мертвой точки и договориться о запуске колдунщика для случаев, когда полностью отсутствуют видеоснипеты. Соответствующую логику доработали -- см. VIDEOPOISK-744. По результатам прогона 15 тыс. случайных веб-запросов через бету, колдунщик будет показываться в 0,8 % случаев. Одновременный показ спецразмещения ожидается редко -- примерно в 1 из 60 случаях показа колдунщика. Смотрим на не-проседание доходов Директа, на метрики пользовательского поведения, а также на CTR колдунщика. Назначить | Комментировать | Редактировать | 23.03-05.04 | + | ||||||||||||
204 | 4% | Измеряем:
Назначить | Комментировать | Редактировать | 02.03-01.04 | + | ||||||||||||
10Q1 | ||||||||||||||||
205 | 4% | * они там виднее * они логически привязаны к запросу, а не к выдаче, поэтому не должны выглядеть как результат * освобождается место для колдунщиков "про результаты" (маркет, словари,.. пример запроса [motorola e398 -цена]) экспериментировать будем с колдунщиком минус-слов. цель эксперимента 1. Сравнить кликабельность колдунщиков (проверка гипотезы "он там виднее") 2. Посчитать влияние на Директ. В текущей верстке директ смещается на строчку вниз. 3. Посчитать влияние на остальные элементы выдачи. В частности, эффект от большего количества показов колдунщиков "про результаты" Эксперимент на 4%. Назначить | Комментировать | Редактировать | 02.03-29.03 | - | ||||||||||||
220-221 | 2x2% | Эксперимент 150: Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70) Для запросов >=4 слов длина сниппетов остается как в текущем production (title = 70) Эксперимент включается параметром &relev=uts=4 Эксперимент 151: Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70) Для запросов >=4 слов длина уменьшается до 215 символов max (title = 70) Эксперимент включается параметром &relev=uts=5 Перезапуск нужен в связи с починкой багов, которые были при первом запуске. Так же просьба для обоих экспериментов и для контрольного эксперимента на 2% включить подсчет скроллов страницы. Назначить | Комментировать | Редактировать | 10.03-29.03 | + | ||||||||||||
210 | 4% | По результатам эксперимента хотелось бы понять, как меняется CTR спецзармещения и блока Директа. Назначить | Комментировать | Редактировать | 02.03-23.03 | ~ | ||||||||||||
134 | 4% | 1. CTR ссылки «перевод» 2. Первичный CTR тайтлов, для которых есть ссылка «перевод» (сначала кликнули тайтл, а потом вернулись и кликнули перевод) 3. Вторичный CTR тайтлов, для которых есть ссылка «перевод» (сначала кликнули перевод, а потом вернулись и кликнули тайтл) 4. CTR тайтлов для которых есть ссылка "перевод" Если надо заводить какие-то счетчики или что-то еще, то говорите. Назначить | Комментировать | Редактировать | 08.12-04.03 | + | ||||||||||||
209 | 4% | В итоге нужна таблица вида:
Суммарный CTR = 100 * (клики на заголовок + клики на сайтлинк 1 + ... + клики на сайтлинк N) / показы Желательно 4% на полную неделю, но торг уместен. Результаты: Ссылка на показатели: https://specto.yandex.ru/ab_testing/ab_testing.py?action=analyze&jobid=./temp/tmprhhoWm&id=29&datestart=20100212&dateend=20100224&granularity=24&showprec=off&showdiff=on Вывод: использование сайтлинков оправдано, поскольку они положительно влияют на кликабельность всего блока результатов (блок - это тайтл + сайтлинки). Назначить | Комментировать | Редактировать | 10.02-04.03 | ~ | ||||||||||||
208 | 4% | Текущая конструкция, соответствено, может меняться в зависимости от длины тайтла (насколько она приближается к границе) следующим образом: 'TPE1' - 'TIT2' (название трека уже само по себе еле укладывается в 80 знаков); 'TPE1' - 'TIT2' mp3; 'TPE1' - 'TIT2' mp3 скачать; 'TPE1' - 'TIT2' mp3 скачать бесплатно. Из интересующих цифр - достаточно будет посчитать уже ctr самого музисточника. Назначить | Комментировать | Редактировать | 10.02-04.03 | ~ | ||||||||||||
200 | 4% | Подробнее тут: http://wiki.yandex-team.ru/Auto/Pragmatics#markamodel--vprocesse Запросов в потоке (по последней оценке Андрея) -- 0.87%. Нужно понять хватит ли нам 4% аудитории для проведения эксперимента. В эксперименте в первую очередь мы смотрим на пользовательские метрики (клики и т.п.). Оценку денег, наверное, стоит провести, ведь мы задвинем подальше автосалоны, поэтому может быть на них вырастут клики в директе. Назначить | Комментировать | Редактировать | 22.01-04.03 | ~ | ||||||||||||
161-167 | 7x4% РФ | Дать объявление (?id=yasearch_ad) Дать объявление по запросу «...» (?id=yasearch_adtext) Дать контекстное объявление (?id=yasearch_adcontext) Разместить контекстную рекламу (?id=yasearch_advcontext) Разместить рекламу (?id=yasearch_adv) Считаем CTR подписей, Директ считает конверсию. Ожидается, что вариант Дать объявление по запросу «...» — окажется лучшим по обоим показателям. (поскольку CTR этой подписи в первом эксперименте был заметно выше остальных). На текущий момент используется подпись: Разместить объявление по запросу «...» Назначить | Комментировать | Редактировать | 26.01-12.02 | ? | ||||||||||||
194-196 | 3x2% | Три эксперимента по 2% запускаем на неделю, сравниваем с эталонным №60. Смотрим на пользовательские метрики и учитываем влияние на рекламу. 1. Текущую нумерацию меняем местами с favicons. 2. Серая нумерация — без точки (по макету Р. Воронежского) (было в 172-эксперименте) 3. Серая нумерация, но делаем темнее #999 Назначить | Комментировать | Редактировать | 27.01-12.02 | + | ||||||||||||
191 | 4% | Цель эксперимента: убедиться, что нет плохого влияния на Директ и поведение пользователей на серпе. В случае успеха считаем, что лучше по картиночным запросам показывать картинки в середине выдачи, чем внизу. Считаем метрики, аналогичные EXPERIMENTS-8: 1) CTR колдунщика по 100 контрольным запросам (Вася Ситник). Сравниваем эксперименты 179 (колдунщик внизу), 35 (контрольный, колдунщик сверху) и ** (колдунщик на 4-й позиции). 2) Стандартные метрики заводит Вадим Никулин:
Назначить | Комментировать | Редактировать | 26.01-10.02 | + | ||||||||||||
188 | 4% | 187 — подмешивание 188 — колдунщик видео на нулевой позиции -- У нас готова логика определения видео-запросов по маркерам и показа по таким запросам видеоснипета в качестве колдунщика. Бета находится на http://baggi3.yandex.ru/yandsearch?text=%D0%BA%D0%BB%D0%B8%D0%BF+%D0%B4%D0%B8%D0%BC%D0%B0+%D0%B1%D0%B8%D0%BB%D0%B0%D0%BD+changes Хотим как можно скорее (до 14 декабря) выкатить всё необходимое, запустить эксперимент и если ничего радикального не случится -- выехать на 100% через 2-3 дня (после начала эксперимента). По этой группе запросов следим за: 1) CTR первого результата 2) показателями Директа Назначить | Комментировать | Редактировать | 28.01-10.02 | - | ||||||||||||
199 | 4% | Сегодня-завтра выедет новый верхний. В нем будет новый колдунщик - правило Download Это где-то 10% русского потока. Просьба на 50% случаев, где срабатывает правило запустить эксперимент в России pron=dowexp Назначить | Комментировать | Редактировать | 26.01-22.02 | + | ||||||||||||
150-152 | 3x2% | SERP-2138 Open Эксперименты с длиной сниппетов (3 штуки) kaaС выкладкой базового поиска stable-14-6 выезжают новые эксперименты про длину сниппетов. Каждый эксперимент необходимо запустить на 2%. Эксперимент 1: Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70) Для запросов >=4 слов длина сниппетов остается как в текущем production (title = 70) Эксперимент включается параметром &relev=uts=4 Эксперимент 2: Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70) Для запросов >=4 слов длина уменьшается до 215 символов max (title = 70) Эксперимент включается параметром &relev=uts=5 Эксперимент 3: Сниппеты такой же длины, как в эксперименте 1 (включать так же с помощью &relev=uts=4), но необходимо немного поменять их отображение: необходимо разделять пассажи сниппетов не разрывом строки, а ... (пробел, жирное троеточие, пробел). При этом, если первый пассаж заканчивается на троеточие, то его необходимо обрезать, также троеточие необходимо отрезать из начала второго пассажа. Перед тем, как запускать эксперименты, необходимо обеспечить запись следующих данных:
Ожидаемые изменения в кликабельности:
Назначить | Комментировать | Редактировать | 16.12-22.02 | - | ||||||||||||
202,203 | 6%UA | Просьба запустить эксперимент на 6% украины. Тестируем новый способ подбора на Украине. pron=sumukr Назначить | Комментировать | Редактировать | 26.01-22.02 | - | ||||||||||||
192 | 4% | Включается передачей на базовый в relev uts=6 Включить по возможности быстро. Если не хватает аудитории - можно оторвать эксперимент 186 (отключение викисниппетов) - с Мариной Бутылкиной согласовано. Будем смотреть: - доля некликнутых (ждем уменьшения) - количество инверсий (ждем уменьшения) - доля длинных кликов (ждем увеличения) Назначить | Комментировать | Редактировать | 22.01-22.02 | + | ||||||||||||
179 | 4% | Вторая важная цель - получить из этого большого числа хорошие картиночные запросы для верхнего колдунщика, которые не определились другими автоматическими методами. Цели эксперимента: 1. Посчитать влияние нижнего колдунщика на Директ и другие элементы выдачи. 2. Проверить гипотезу о том, что "картиночные" запросы будут иметь Ctr выше "некартиночных". Т.к. колдунщик не попадает в первый экран, поведение пользователей может сильно отличаться от случаев, когда колдунщик над выдачей. Что делаем: отбираем порядка сотни частотных запросов (и картиночных, и некартиночных). Части пользователей показываем их на выдачей (это будет эталон), другой части пользователей - под выдачей. Сравним ctr. Назначить | Комментировать | Редактировать | 14.01-22.02 | + | ||||||||||||
197 | 4% | https://wiki.yandex-team.ru/Market/Projects/MarketSearch/MarketWizards/Contextualwizards Смотреть на zelo, пример запроса [где купить nokia n95] и [отзывы nokia n95] Ожидается увеличение CTR колдунщика. Назначить | Комментировать | Редактировать | 14.01-22.02 | + | ||||||||||||
158 | 4% | Назначить | Комментировать | Редактировать | 02.11-26.01 | ~ | ||||||||||||
198 | 4% | Длительность эксперимента -- 1 неделя. Номер эксперимента прошу добавить комментарием в этот таск. Назначить | Комментировать | Редактировать | 14.01-26.01 | ~ | ||||||||||||
186 | 4% | Сроки: 1 неделя Аудитория: 4% По результатам эксперимента хотелось бы посчитать: - средний ctr сниппетов Википедии по позициям; - время до первого клика (ожидается уменьшение); - количество кликов на странице (ожидается уменьшение); - количество серпов хотя бы с одним пустым сниппетом (вряд ли будет заметно, но может и уменьшится). + получить список запросов, по которым расхождения были max и min. Назначить | Комментировать | Редактировать | 16.12-26.01 | ~ | ||||||||||||
193 | 4% | Оцениваем: CTR нового и старого колдунщиков влияние на рекламу. Ожидается: CTR нового колдунщика должен быть не ниже старого. СР может немного возрасти в новом колдунщике. Назначить | Комментировать | Редактировать | 18.12-22.01 | ~ | ||||||||||||
189 | 4% | http://wiki.yandex-team.ru/IljaShulman/SERPExperiments/DirectYandexDirectInSpec/files?get=yadirsketch.png Эксперимент необходимо провести на 4% пользователей в течение 2 недель. По результатам эксперимента постараемся понять повлияет ли это изменение на что-нибудь. На мой взгляд, заметных изменений не будет. Назначить | Комментировать | Редактировать | 16.12-22.01 | - | ||||||||||||
187 | 2% | 187 — подмешивание 188 — колдунщик видео на нулевой позиции -- У нас готова логика определения видео-запросов по маркерам и показа по таким запросам видеоснипета в качестве колдунщика. Бета находится на http://baggi3.yandex.ru/yandsearch?text=%D0%BA%D0%BB%D0%B8%D0%BF+%D0%B4%D0%B8%D0%BC%D0%B0+%D0%B1%D0%B8%D0%BB%D0%B0%D0%BD+changes Хотим как можно скорее (до 14 декабря) выкатить всё необходимое, запустить эксперимент и если ничего радикального не случится -- выехать на 100% через 2-3 дня (после начала эксперимента). По этой группе запросов следим за: 1) CTR первого результата 2) показателями Директа Назначить | Комментировать | Редактировать | 16.12-22.01 | - | ||||||||||||
173,178 | 2% | 1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта. 2) Оценить влияние выдачи без нумерации на пользовательские метрики. Эксперимент 1. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Прогноз результатов:
Эксперимент 2. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Эксперимент 3. Длительность: 1 неделя Доля аудитории: 2%. Суть эксперимента:
Назначить | Комментировать | Редактировать | 16.12-14.01.10 | - | ||||||||||||
176, 177 | 4% RU | просьба сделать эксперимент на 4% России только латинических запросов. 4% потока, но запросы только латинические. Мы меняем только зарубеж. Контрольный тоже нужен. pron=forexp Назначить | Комментировать | Редактировать | 01.12-14.01.10 | - | ||||||||||||
09Q4 | ||||||||||||||||
190 | 20% UA | Подробнее тут: http://wiki.yandex-team.ru/poiskovajaplatforma/lingvistika/multilanguageplans/surzhik Запросов в потоке (по последней оценке Андрея) -- менее 1% из Украины. Поскольку украинских запросов не так много, предлагается запустить эксперимент на 20% аудитории. В эксперименте в первую очередь мы смотрим на пользовательские метрики (клики и т.п.). Еще хотим посчитать кликабельность подмешанных документов: можно ли это сделать? Еще вопрос: можно ли учитывать регион пользователей более точно -- западная и восточная Украина? И учитывать локаль? Назначить | Комментировать | Редактировать | 16.12-23.12 | ? | ||||||||||||
185 | 4% | понять, влияет ли урл на кликабельность результата. У 4% ча |