Последняя актуализация: сентябрь 2018 г.
Начало темы об общих принципах тестирования
При подготовке статьи обнаружился интересный факт. По статистике для того чтобы пройти тест Яндекс Директ в подавляющем большинстве ищут ответы на тест Директ. Доля желающих узнать как подготовиться к тесту Яндекс эксперт крайне мала.
Скажу сразу, что выучить ответы на вопросы, чтоб пройти тест Яндекс Директ практически бесполезно. Надо готовиться теоретически и иметь практику. В этом смысле большим подспорьем экзаменуемому являются полные списки вопросов и предлагаемых ответов. Ниже поделюсь своим опытом и приведу в дополнение к имеющемуся списку в видеоформате еще один полный перечень вопросов и ответов (внизу данной страницы).
Тестовые задания включают вопросы, которые я разбила бы по «сложности» на три категории:
— простые;
— практические;
— каверзные.
На простые задания ответы имеется в точной форме в справке.
Практические включают минимальное задание, над которым надо подумать. Как правило, такие тестовые задания находятся в тематических группах «условия подбора аудитории», «ключевые слова, операторы и шаблоны». Если практика имеется, то сообразить ответ можно быстро.
О каверзных вопросах хочу поговорить особо. Важно, что вы на них можете высвободить время, если по первым двум группам ответите быстро. Система дает возможность пропустить трудный вопрос и вернуться к нему позже в рамках общих 60 мин. на весь тест.
На мой взгляд «каверзность» заключается в следующем:
- Система сбивает с толку по невнимательности. В ответах правильно-неправильно может быть изменена одна буква, например «жи вотные»-«жы вотные». Надо внимательно читать задание и ответы. Лично мне попалось задание со словами «камедь» и «комедь».
- Соседствуют два длинных ответа практически с одинаковым текстом. Может быть изменена одна цифра или слово.
- Сложные вопросы. На них нет прямых ответов ни в справке, ни в поиске.
Лично для меня в тестах самыми сложными были вопросы из разделов «Настройки рекламы и повышение эффективности» и «ключевые фразы, операторы и шаблоны». Тест 2018 года по сравнению с тестом 2017 года мне показался сложнее.
- Поисковый запрос: наше радио. Выберите комбинации операторов, которые позволят зафиксировать все словоформы в запросе.
1. «наше радио».
2. !наше радио
3. +наше радио
4. +наше!радио
Здесь надо выбрать единственный правильный ответ. Напрашивается в «правильные» четвертый, т.к. словоформа закрепляется восклицательным знаком и в данном случае хотим применить восклицательный знак к имени существительному, но это не верно. Правильным будет второй ответ, очевидно здесь учитывается несклоняемость слова «радио».
- Каким из этих рекламодателей будут полезны динамические объявления?
1.Небольшой парикмахерской, которая каждый день предлагает скидки на разные виды окрашивания ногтей
2.Интернет-аптека
3.Сайт – агрегатор авиабилетов. Рекламирует билеты, которые есть в продаже.
4. Большой интернет-магазин электроники, на сайте которого тысячи разных товаров.
Здесь несколько правильных ответов должно быть. С аптекой понятно- не подходит,т.к. в этой тематике динамические объявления не применяются. 3,4 ответы -да по определению.С парикмахерской не однозначно: с одной стороны у нее постоянное изменение информации, с другой стороны — она маленькая; на сколько маленькая в вопросе не уточняется, но очевидно на столько, что под определение динамических объявлений не попадает.
- По каким показателям рекомендуется отслеживать эффективность смарт-баннеров?
1.конверсии (%)
2.CTR (%)
3.средняя позиция клика
4.средняя позиция показа
5. цена цели
- На какие показы влияет включённая опция «Расширенный географический таргетинг»?
1. На показы в РСЯ, внешних сетях и поиске Яндекса.
2. На показы в РСЯ и внешних сетях.
3. На показы в поиске Яндекса.
Цитата справки Яндекс. Директ: «Эта опция работает на поиске Яндекса и в сетях. Она не влияет на показы объявлений на поисковых площадках РСЯ (в том числе на страницах результатов поиска по Яндекс.Картам, Яндекс.Маркету и другим сервисам Яндекса).»
Первично указала в качестве верного ответ №1 и допустила ошибку. Мои рассуждения были такие: если Сети объединяют в себе РСЯ и внешние сети, то ответ №1 был у меня без сомнений. Вторая строчка цитаты указывает нам, что верным ответом должен быть 3. «Каверзность» заключается в слишком широком, по моему мнению, использованию термина «сети» в контексте данного абзаца цитаты. Это меня и сбило с толку.
- Ключевая фраза: купить квартиры +в Москве. Использован оператор плюс. По каким запросам будут показы?
1. купить небольшую квартирку в Москве.
2. кредит на квартиру Москва.
3. Москва купить квартиру.
4. купить квартиру в Москве.
5. купить двухкомнатную квартиру в Москве.
6. Москва купить квартиру +в кредит
В данном примере правильных ответов — несколько и сходу предполагаются правильными №№1,4,5,6, потому что во всех запросах присутствует предлог «в», отмеченный в ключевой фразе плюсиком. Ответив так, получите ошибку. Внимательный директолог не включит в правильный ответ запрос №1, потому что для Яндекса «квартира» и «квартирка» это разные слова.
- Какие задачи бизнеса можно решить с помощью показов по условиям подбора аудитории?
1. Найти новых потенциальных клиентов, похожих по профилю на существующих.
2. Продать дополнительные товары или услуги тем, кто уже совершил покупку.
3. Привлечь новых посетителей в магазины и филиалы, показывая рекламу тем, кто регулярно бывает в определенных местах.
4. Увеличить конверсию посетителей сайта в клиентов.
5. Показывать в поиске объявления не по ключевым словам, а по интересам.
В данном примере правильных ответов — несколько и по логике предполагаются правильными №№1,2,3. Все эти ответы относятся к категории показов. Такой ответ будет ошибочным.
Разбираемся:
Ответы 1,2,3 проходят по определению из правил показов Директа. Ответ №4 — спорный. Мы знаем, что за целевые действия на сайте отвечает сам сайт, а рекламщик осуществляет клики целевой аудитории по объявлению. Логично, что показы на конверсию влиять не должны, однако согласно логике Яндекса, этот ответ должен быть указан как правильный. Хотя если предположить, что мы настраиваем показы, например, заранее подобранной аудитории, то этот ответ вполне подходит под правильный. Пятый ответ не подходит по определению, об этом хорошо рассказывается в справке Директа.
- Коллеги! Добавьте свои трудные вопросы теста через блок комментариев, и здесь на странице своего сайта я произведу разбор ваших вопросов, аналогично приведённым выше. Вы также активно участвуйте в разборе, используя комментарии.
Обещанный полный вопросник (и здесь всего ОДИН неверный ответ!) :
Хотите узнать правильный ответ на этот единственный вопрос? Нажмите кнопку:
- Полные списки вопросов и ответов на тесты 2018 г. Директ эксперта в Сети имеются в небольшом количестве. Есть и с указанием «правильных» ответов. Смотрите их, изучайте, но знайте, что никто не может гарантировать их правильность. Полезно на них потренироваться для самоконтроля.
- В интерфейсе для проведения теста согласно правилам тестирования на предложенный вопрос должен быть или один правильный ответ, или несколько. Если один, то радиокнопка будет круглая, а если несколько правильных, то квадратная. Помните об этом и следите за формой кнопки.
- Хорошее известие. Ошибки допускаются, но чтобы пройти тест по каждому блоку есть свой минимальный порог, определяющий уровень знаний. Он в Директ эксперте измеряется в процентах. Если хоть в одном блоке не достигнете минимального порога ― тест не сдан.
- В ходе тестирования можно воспользоваться справкой, если успеете.
Важное дополнение.
От 14.02.2017 в новостях Директа прошло сообщение о том, Директ запустил в работу минус-фразы. Про них в разделе помощи Директа появились необходимые разъяснения, на одной из страниц имеется наглядный и хороший пример как правильно трактуются минус-фразы. Полагаю, что в тестах теперь появятся о них вопросы. Настоятельно рекомендую изучить применение минус-фраз, т.к. в ходе тестирования их будет легко спутать с минус-словами.
В комментариях доступны обсуждения только по теме страницы. Реклама ссылок, товаров и услуг запрещена. Сообщения неуважительного характера не допускаются
Добрый день, дорогой читатель! Продолжая цикл статей о реализации стека RTB нашей компанией, предлагаю вам ознакомиться с реализацией нашей SSP - VOX Ad Exchange .
Нагрузка здесь не такая большая, как, например, в нашей DSP , а основное время обработки запроса тратится на ожидание ответов от подключенных DSP. Написана она в виде асинхронного ASP.NET MVC-приложения.
Итак, давайте для начала разберёмся, как же происходит обработка запросов.
Запрос на получение рекламы начинает формироваться ещё на стороне клиента. Здесь посредством javascript мы стараемся собрать как можно больше информации о посетителе сайта, на котором установлен наш скрипт. В основном это техническая информация: включен ли в браузере flash player, размеры окна браузера, размеры экрана, получаем адрес страницы и реферер на страницу, с которой пришёл пользователь и прочее. Далее информация собирается в JSON строку, кодируется и отправляется запрос на получение рекламы. Теперь за дело берётся back-end.
Получив запрос на показ рекламы, так же получаем из базы всю известную нам информацию о данном посетителе (историю его интересов, просмотров рекламы и кликов). По user-agent"у мы получаем данные об используемом браузере, его версии и операционной системе посетителя, а по ip-адресу определяем его текущее местоположение. Всю собранную о пользователе информацию мы отправляем в нашу DMP для её дальнейшего анализа.
Собрав данные о пользователе, мы переходим к площадке. Получаем информацию о стоимости рекламного места, CTR площадки, категориях контента, наличию запрещённого контента и т.д., на основе этих данных будет сформирована минимальная пороговая цена аукциона. Закончив с площадками, переходим к самой длительной задаче SSP, это опрос подключенных DSP. На основе полученных выше описанным способом данных формируется запрос к DSP. Далее происходит паралельный опрос DSP, на ответ каждой из них отводиться 120 ms, в которые входит и время на доставку запроса, и получение ответа (ping до серверов, на которых расположена DSP). Так что месторасположение DSP тоже играет важную роль. Получив ответ от всех DSP, остаётся лишь отсортировать их по размеру ставки и взять ответ с самой большой. Ответ в виде JSON"а, для показа рекламы мы возвращаемся на front-end.
Фронтенду остаётся самая малость - вывести код полученного объявления. Так как уследить за качеством кода DSP и его совместимостью с площадками нет никакой возможности, наш код для вывода объявления на страницу создаёт отдельный iframe, загружает в него код, и вот его-то мы и выводим на страницу. На этом и заканчивается обработка запроса на рекламу.
Давайте теперь разберёмся с какими трудностями пришлось столкнуться в ходе реализации SSP, и как мы с ними справились. Одной из основных проблем в ходе реализации SSP стало забивание пула IIS. Причиной этому было ожидание ответа от DSP в течении 100 и более миллисекунд. В то время, когда SSP ждала ответа от DSP, остальные запросы ждали, пока SSP обработает текущий. А решением данной проблемы стало использование асинхронных контроллеров, вот здесь нам и пригодились модификаторы async/await. Также не лишним будет упомянуть, что информация о площадке и DSP кешируется в памяти приложения и ежеминутно обновляется. Следующим основным местом, на которое стоит обратить внимание, является опрос DSP. Первоначально встал вопрос, как распараллелить опрос DSP. В ходе разработки SSP было опробовано несколько вариантов решения этой задачи, таких как: Parallel.ForEach, Task.WaitAll и Task.WhenAll. Особых различий в производительности обнаружено не было, каждый способ исправно выполнял свою задачу, но в связи с переходом на асинхронную модель выбор пал на последний вариант. Сам запрос к DSP осуществляется посредством HttpWebRequest. Самое главное, что следует сделать при работе с HttpWebRequest, это включить поддержку KeepAlive, потому что запросы к DSP идут постоянно друг за другом, и постоянные обрывы и установка соединения начнут заметно тормозить получение ответа. Приведу пример получившегося класса для опроса DSP:
Код
public class DspRequests
{
private const string _method = "POST";
private const string _contentType = "application/json";
private static List
Технический директор Владимир Климонтович и специалист по анализу данных Юрий Логачев - написали для сайт колонку о том, как реализуется аукционная закупка рекламы с помощью DSP, какие таргетинги применяются и с помощью каких алгоритмов определяется размер ставки.
Структура programmatic
Programmatic buying - автоматизированная покупка таргетированной рекламы в формате аукциона для конкретных пользователей с учетом их интересов и потребностей. Для этого существует ряд сервисов и платформ.
Data Suppliers - поставщики данных. Они на две группы: на тех, кто предлагает собранные аудиторные сегменты из обработанных данных (Processed Data Suppliers), и тех, кто предоставляет необработанные (сырые) данные (Raw Data Suppliers).
SSP (Supply Side platform) - платформы для издателей, позволяющие рекламным сетям и сайтам продавать рекламные площади.
Ad Network - рекламная банкетная сеть. Она содержит баннеры и управляет их показами с помощью рекламного сервера (Ad Server), который передает рекламу на сайт издателя, считает число показов, кликов, управляет оптимизацией кампаний.
DSP (Demand Side Platform) - компании, покупающие данные у поставщиков и применяющие их в рекламе. В материале речь пойдет прежде всего о работе этих платформ.
Технический директор компании GetIntent Владимир Климонтович
Специалист по анализу данных компании GetIntent Юрий Логачев
DSP (Demand Side Platform) - инструмент для автоматической закупки интернет-рекламы, напрямую взаимодействующий с SSP (Supply Side Platform), рекламными сетями (Ad Network), рекламными биржами (Ad Exchange) и сайтами (в терминологии интернет-рекламы они называются паблишерами).
Главная цель DSP - купить по оптимальной цене рекламные показы и продемонстрировать объявления пользователям, максимально точно соответствующим запросам рекламодателей.
Мы будем говорить о DSP в контексте RTB-экосистемы (RTB расшифровывается как Real-time bidding), то есть когда реклама покупается формате аукциона в режиме реального времени.
Аукцион совершается за то время, пока загружается страница сайта. В момент, пока пользователь заходит на сайт, информация о нем поступает к SSP, которая, в свою очередь, посылает аукционные запросы (на английском bid request) ко всем подключенным к ней DSP.
Подключенные DSP проводят аукцион за рекламный показ. Каждая DSP делает ставку (bid) или отказывается от аукциона (в этом случае ставка будет нулевой). В итоге пользователь видит тот баннер, за который поставлена самая высокая ставка. При этом аукцион проходит по принципу второй цены. Это значит, что участник, выигравший аукцион, платит за показ сумму, равную второй по величине ставки.
На первый взгляд, подход кажется неочевидным, а смысл его непонятным. Однако экономист-математик Уильям Викри доказал, что именно такой тип акциона является самым справедливым и вынуждает участников делать «честную» ставку, не ориентируясь на возможное поведение других участников аукциона. За это доказательство и другие работы в области теории игр Викри получил нобелевскую премию по экономике в 1996 году.
Первоочередная сложность в работе DSP - отказоустойчивость. Процесс покупки (ответов на аукционные запросы от SSP) должен происходить надежно и очень быстро. DSP может обрабатывать до одного миллиона запросов в секунду.
Кроме отказоустойчивости DSP нужны «мозги» - алгоритмы таргетирования и предиктивной оптимизации. Об этом - ниже.
Стратегия работы DSP (таргетинги)
DSP работает с рядом рекламодателей, каждый из которых запускает несколько кампаний (иногда их количество доходит до тысячи). Каждая кампания имеет обособленную стратегию закупки рекламных показов, состоящую из совокупности таргетингов. Рассмотрим самые распостранненые из них.
Таргетинг пo списку доменов (сайтов)
DSP делает ставку только в том случае, если запрос от SSP пришел с определенного сайта. Обычно этот способ используют рекламодатели, которым важно, чтобы их объявление находилось в определенном контексте.
Географический таргетинг
DSP делает ставку, если запрос пришел от пользователя, находящегося в определенном городе или даже в определенном почтовом коде (актуально для стран вроде США или Великобритании). Местонахождение определяется платформой DSP по IP-адресу, который приходит вместе с запросом SSP.
Таргетирование по частотности показов
Частотность показов (frequency capping) подразумевает возможность не демонстрировать пользователю один и тот же баннер слишком часто. Суть ограничения состоит в том, что если, к примеру, после 20 показов пользователь так и не совершил целевое действие (клик, заказ или что-то еще), то дальше бессмысленно тратить деньги на покупку показов этому пользователю.
Кроме ограничения количества показов за всё время, DSP обычно дают возможность выставить ограничение за минуту, час, день и неделю. Потому что не очень разумно «бомбардировать» пользователя всеми 20 отведенными ему показами в первую же минуту.
Ретаргетинг
Данный подход позволяет показывать рекламу пользователям, которые посетили сайт рекламодателя, но ушли, не совершив целевого действия (например, покупки, заполнения формы заявки или звонка). Как показывает статистика, таких пользователей еще можно переубедить, напомнив о своем существовании.
RTB дало толчок к развитию ретаргетинга. Будучи подключенной к огромному количество SSP и имея доступ к миллиардам рекламных показов, DSP имеет возможность «дотянуться» практически до любого посетителя сайта рекламодателя.
Стоит упомянуть одно из расширений ретаргетинга - динамические ретаргетинг (DCO - dynamic creative optimization). В этом случае пользователю показывается персонализированный баннер, основанный на его истории посещений сайта рекламодателя. Например, пользователю, просмотревшему десять пар ботинок, в баннере отобразятся ботинки с ценами.
Таргетирование по аудиторным сегментам
Данный вид таргетинга позволяет показывать релевантное сообщение пользователям, которые заинтересованы какой-то определенной темой (например, автомобилями или спортом), а также людям из определенной демографической категории (например, мужчины 25-40 лет).
Как правило, DSP покупает данные о пользователях DMP (Data Management Platform - платформа управления данными). DMP регулярно (например, раз в день) выгружает для DSP базу данных пользователей, которая используется при обработке аукционного запроса и принятия решения о том, какую рекламу предлагать данному пользователю.
Также возможен и более продвинутый вариант, когда DSP узнает у DMP информацию о пользователе в режиме реального времени, то есть посылает запрос к DMP после каждого запроса от SSP.
Предиктивная оптимизация
Все вышеперечисленные таргенинги только определеляли логику выбора пользователя для показа рекламного объявляения. Однако они не затрагивают определения размеры ставки.
Работа с DSP, обладающей исключительно теми таргетингами, которые мы описали выше, предполагает ручной труд - маркетолог или трафик-менеджер должен сам подбирать ставку и менять таргетинги в зависимости от результатов работы рекламной кампании (эффективной цены клика или конверсии). Но в постиндустриальном обществе труд дорог, и велика вероятность ошибки из-за человеческого фактора.
Для этого в некоторых DSP реализованы алгоритмы предиктивной оптимизации (иногда такой алгоритм называют «предикт» или «предиктор»). Рассмотрим их работу на примере:
Представим себе, что менеджер по маркетингу банка решил запустить рекламную кампанию нового продукта. Для этого он подобрал несколько десятков сайтов с обеспеченной аудиторией (таргетинг по доменам), и выбрал крупные города, где представлены отделения банка (географический таргетинг).
Также менеджер установил ставку в 100 рублей CPM (Сost Per Mille - цена за тысячу показов) или 10 копеек за один показ. Но выясняется, что средный CTR (Click-Through Rate или процент кликов относительно показов) - 0,1%. Это значит, что каждый посетитель сайта обходится в 100 рублей (эта сумма называется CPC - цена за клик):
Цена в 100 рублей слишком высока для менеджера. Он согласен платить за визит не более 20 рублей, поэтому понижает цену CPM до этой суммы. Цена клика становится приемлемой, но из-за низкой ставки DSP выигрывает аукцион крайне редко, и совокупный объем трафика недостаточен. Что же делать?
Величина CTR не является постоянной. Более того, она не является постоянной для разных сайтов. Например, на одном и том же сайте аудитория из разных городов будет кликать с разной частотой. Московские и петербургские пользователи гораздо охотнее кликают на рекламу интернет-магазина, потому что они знают, что курьер привезет товар на следующий день. При этом житель Магадана, для которого доставка может занять до трех недель, с гораздо меньшей охотой отреагирует на рекламное объявление о новогодних скидках.
Но всё ещё сложнее. Аудитория разных сайтов по-разному реагирует на различные рекламные объявления. Очевидно, что посетитель автомобильного сайта с большой вероятностью кликнет на рекламу нового внедорожника, чем посетительница онлайн-ресурса с рецептами.
Предположим, у нас есть способ узнать ожидаемый CTR объявления на конкретном сайте для определенного пользователя. В этом случае размер ставки CPM можно вычислить динамически по формуле: CPM = (ожидаемый CTR) x CPC x 100.
То есть DSP будет одновременно покупать дешевые показы с ожидаемым низким CTR (например, показы по 20 рублей CPM с ожидаемым CTR 0,1%), так и дорогие показы с высоким CTR (например, по 60 рублей с CTR 0,3%). DSP одновременно выполнит цели кампании как по цене визита, так и по максимальному количеству привлеченных пользователей.
За вычисления ожидаемного CTR отвечает алгоритм предиктивной оптимизации. Его задача - на каждую пару (запрос от SSP, плюс рекламная кампания, подходящая по таргетингу) посчитать ожидаемый CTR, который равен вероятности клика. Такая, на первый взгляд, простая цель решается довольно непростыми алгоритмами машинного обучения.
Обычно алгоритмы предиктивной оптимизации универсальны и также могут предсказывать вероятность иного целевого действия: например покупки (конверсии).
***Многие до сих пор считают RTB и programmatic таинственными технологиями, суть работы которых понятна только узкому кругу технических специалистов. Надеемся, что этот материал ответит на многие вопросы о работе DSP, которые возникали у маркетологов. И если вы только планируете начать работать с DSP-платформой, теперь обязательно спросите у представителей платформы: «А как работает ваш предикт?».