Экспорт во внешние системы

Материал из Alytics Wiki
Перейти к: навигация, поиск

Экспорт данных из Alytics в Google BigQuery

Пользователи Alytics могут экспортировать данные собранные у нас в системе в Google BigQuery. Эта возможность пригодится при решении задач связанных с обработкой полученных данных или как инструмент для транзита данных во внешние системы, если для этих систем созданы коннекторы в Google BigQuery.

Для экспорта данных из Алитикса вам необходимо активировать API BIgQuery создать сервисный аккаунт в Google BigQuery и затем настроить в Alytics профиль экспорта, используя токен созданного аккаунта.

Ниже приведена подробная инструкция и описан сценарий экспорта.



Активация BigQuery API в Google Cloud Platform

Для передачи данных из Alytics в BigQuery, вам необходимо активировать BigQuery API в своем аккауте Google Cloud Platform. Для активации выполните следующее:

1. Перейдите в раздел APIs & Services ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > APIs & Services:

Api dashboard.png


2. Перейдите в библиотеку доступных API кликнув на «ENABLE APIS AND SERVICES»:

Enable api.png


3. В библиотеке доступных API введите в поиск «BigQuery API»:

Bigquery api.png


Кликните на «BigQuery API» в результатах и активируйте его.



Создание сервисного аккаунта в Google BigQuery и получение json-токена

Сначала вам необходимо создать сервисный аккаунт в Google BigQuery (с правами администратора), скачать для него json-токен и затем использовать его при настройке выгрузки из Алитикса. Сервисный аккаунт создает в интерфейсе BIgQuery и для его создания у вас должны быть права администратора в проекте BigQuery в который вы планируете экспортировать данные.

Чтобы создать сервисный аккаунт:

1. Перейдите в настройки ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > IAM & Admin > Service accounts:

Google Cloud Platform 1.png


2. Перейдите к созданию нового сервисного аккаунта (Create service account) и заполните параметры аккаунта по шагам.

На первом шаге укажите имя аккаунта (любое на ваше усмотрение):

Google Cloud Platform 2.png


На втором шаге укажите аккаунту роль BigQuery Admin:

Google Cloud Platform 3.png


Остальные поля можно не заполнять.

На третьем шаге, не заполняя поля, нажмите + CREATE KEY.

Google Cloud Platform 4.png


в появившейся форме Create key выберите Key type JSON и нажмите CREATE.

Google Cloud Platform 5.png


Токен будет загружен к вам на компьютер в виде файла. В дальнейшем вы будете использовать его в настройках экспорта данных из Алитикса в GBQ (они описаны ниже).



Настройка профиля экспорта данных из Alytics в Google BigQuery

1. Перейдите в раздел Инструменты > Экспорт в Google BigQuery:

Mainmenugbq.png


2. На открывшейся странице нажмите кнопку «Добавить профиль экспорта данных»:

GBQ 1.1.png


И укажите параметры экспорта в GBQ в появившейся форме:

GBQ 2.1.png


описание параметров и влияние на экспорт:

Параметр Описание / влияние на экспорт Значение по умолчанию Особенности заполнения
Название профиля Просто название профиля, указанное пользователем, при экспорте никак не учитывается. Экспорт в Google BigQuery Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание, число символов до 1024.
Активность экспорта Активирует или деактивирует операции экспорта связанные с данным профилем. Активно -
Токен GBQ Файл с токеном, который вы скачали в GBQ. Инструкция по получению токена выше. - -
Набор данных в GBQ Если набор с указанным названием уже существует, то мы опубликуем данные в него, если не существует, то создадим набор данных с указанным названием. alytics_gbq_export Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024.
Таблица в GBQ Если указана таблица существующая в наборе данных, то мы заменим данные в ней (удалим все, что было до и зальем новые), если не существующая, то создадим новую таблицу. alytics_project_id_{ХХХХ}, где {ХХХХ} — id текущего проекта. -
Цели для экспорта Вам нужно выбрать минимум одну цель для экспорта. После сохранения настроек профиля, изменить набор целей нельзя. Если нужен другой набор целей, то необходимо удалить старый профиль и настроить новый (настройка целей детально описана ниже). Значения по умолчанию нет. Должна быть выбрана хотя бы одна цель.
Дата начала данных для экспорта Начало периода за который будут экспортированы данные в Big Query, конец периода — вчерашний день. В датапикере можно выбрать даты до текущей. Значения по умолчанию нет. Дата должна быть не больше текущей и не меньше 180 дней относительно текущей.


3. Сохраните настройки экспорта.

После сохранения вы сможет внести следующие изменения в настройки:

  • изменить название профиля,
  • изменить активность экспорта,
  • обновить файл с токеном.

Ели вам нужно изменить какие-то другие настройки, удалите созданный профиль и создайте новый.

4. Удаление профиля происходит через окно подтверждения, если если вы выберите удаление данных в GBQ, то удалится и связанная с профилем таблица внутри набора данных в GBQ:

GBQ 4.png


Если выберете не удалять то таблица с накопленными данными останется.



Выбор целей при настройке профиля

Для выбора целей, показатели которых нужно экспортировать в GBQ, нажмите на кнопку "ВЫБРАТЬ ЦЕЛИ":

GBQ 5.png


в появившемся окне добавьте в список "Выгружать в Google BigQuery", нужные вам цели и модель атрибуции для каждой:

GBQ 61.png


Обратите внимание: для каждой цели формируется "Префикс полей в GBQ", префикс формируется транслитерацией названия цели и модели атрибуции и может быть изменен на удобный вам. Префикс нужен для того чтобы вам было проще найти нужное поле в таблице GBQ, он будет добавлен в начале к названию каждого показателя.

После настройки нажмите "СОХРАНИТЬ НАБОР ЦЕЛЕЙ", пока вы не сохранили настройки профиля, вы можете отредактировать набор целей. После сохранения профиля можно будет только просмотреть выбранные цели, а для внесения изменения нужно будет удалить профиль и создать новый.



Сценарий импорта данных из Alytics в Google BigQuery

Правила экспорта:

  • Ежедневно в 08:00 мы выгружаем данные в GBQ, обновление данных выполняется инкрементально: в Google BigQuery передаются новые и обновленные данные за период от даты начала экспорта до вчерашней даты.  
  • В экспорт попадают все параметры, все показатели блока трафик и все показатели выбранных в профиле целей.
  • Данные экспортированные из Alytics в GBQ собираются в наборе данных с названием указанным в настройках профиля экспорта (по умолчанию "alytics_gbq_export").
  • В наборе данных создается отдельная таблица с названием указанным в настройках профиля (по умолчанию "alytics_project_id_{ХХХХ}").
  • Если данные для какого-то поля отсутствуют: передаем "0" для числовых полей и "-" для текстовых полей.

Текущие ограничения

В первой версии данные можно выгрузить с группировкой до кампаний (группировки до групп, объявлений, фраз в первой версии нет).

Схема и содержание таблицы GBQ с экспортируемыми данными

Поле в Alytics Название поля в GBQ Тип данных Описание данных Описание для поля в GBQ
Поля с параметрами
Дата date Date (YYYYMMDD) Метка даты для метрик. Дата
ID проекта project_id Integer ID проекта. ID проекта в Alytics
Группа источника group_name Text Группа источника трафика. Если группы нет то источник / канал. Группа источника трафика
Источник / канал source Text Название источника, равно названию в Алитиксе. Название источника
Кампания campaign_name Text Название кампании источника, равно названию в Алитиксе. Для Маркета — название фида. Название рекламной кампании или фида Яндекс Маркета
ID кампании campaign_id Integer ID кампании, для кампаний где мы получаем ID. ID рекламной кампании
Город city Text Город из GA Город
Регион region Text Регион из GA Регион
Страна country Text Страна из GA Страна
Показатели трафика
Показы costs_shows Number Число показов рекламного сообщения пользователю. Показы
Клики costs_clicks Number Число кликов по рекламным объявлениям. Клики
Сеансы sessions_sessions Number Число сеансов привлеченных на сайт. Сеансы
Затраты costs_cost Number Сумма расходов на рекламу. Затраты
Цена клика costs_cpc Number Средняя стоимость одного клика по рекламе. Цена клика
CTR, % costs_ctr Number Click-Through Rate - отношение числа кликов к числу показов рекламных объявлений, измеряется в процентах. CTR
Отказы, % sessions_bounce_rate Number Процент нецелевых сеансов в ходе которых пользователи покидали сайт сразу после загрузки, не взаимодействуя с ним. Отказы
Время, сек sessions_average_time Number Средняя продолжительность одного сеанса, измеряется в секундах. Время на сайте
Стр / сеанс sessions_pages_per_visit Number Среднее число страниц просмотренных в ходе одного сеанса. Среднее число страниц, просмотренных в ходе одного сеанса.
Новые, % sessions_new_visits Number Процент сеансов посетителей которые зашли на сайт впервые за указанный диапазон дат. Процент сеансов посетителей, которые зашли на сайт впервые.
Показатели целей (для каждой из добавленных целей)
Кол-во {префикс цели}_count Number Количество достижений цели, звонков или сделок из CRM. Количество достижений цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
Выручка {префикс цели}_revenue Number Выручка от привлеченных продаж. Выручка цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
Прибыль {префикс цели}_gross_profit Number Прибыль от привлеченных продаж. Прибыль цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
Чистая прибыль {префикс цели}_net_profit Number Чистая прибыль от привлеченных продаж. Рассчитывается как разница между полученной прибылью и затратами на рекламу. Чистая прибыль цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
CPA {префикс цели}_cpa Number Cost Per Action – стоимость достижения цели, звонка или сделки из CRM. Стоимость достижения цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
CR, % {префикс цели}_cr Number Conversion Rate – коэффициент конверсии. Рассчитывается как отношение количества достигнутых конверсий (цели, звонки, сделки из CRM) к числу кликов. Коэффициент конверсии цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
Средний чек {префикс цели}_aov Number Средний чек показывает усредненную выручку от одной продажи. Средний чек цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
ROI, % {префикс цели}_roi Number Return On Investment – показатель окупаемости затрат на рекламу. Рассчитывается как отношение полученной прибыли к вложениям в рекламу. Формула ROI = (Прибыль - Затраты) / Затраты * 100. ROI цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
ROAS, % {префикс цели}_roas Number Return On Advertising Spend – показатель, который измеряет прибыль от размещения рекламы. Рассчитывается как отношение заработанного на рекламе к потраченному. Формула ROAS = Выручка / Затраты * 100. ROAS цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}
ДРР, % {префикс цели}_drr Number Доля Рекламных Расходов – отношение вложенных средств к полученной выручке. Формула ДРР = Затраты/Выручка*100%. ДРР цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI}

* – для составных целей в описании указываем модель «составная».