Экспорт во внешние системы

Материал из Alytics Wiki
Версия от 14:20, 6 июля 2020; Wiki (обсуждение | вклад) (Настройка профиля экспорта данных из Alytics в Google BigQuery)

Перейти к: навигация, поиск

Экспорт данных из Alytics в Google BigQuery

Пользователи Alytics могут экспортировать данные собранные у нас в системе в Google BigQuery. Эта возможность пригодится при решении задач связанных с обработкой полученных данных или как инструмент для транзита данных во внешние системы, если для этих систем созданы коннекторы в Google BIgQuery.

Для экспорта данных из Алитикса вам необходимо создать сервисный аккаунт в Google BigQuery и затем настроить в Alytics профиль экспорта, используя токен созданного аккаунта.

Ниже приведена подробная инструкция и описана логика экспорта.

Создание сервисного аккаунта в Google BigQuery и получение json-токена

Сначала вам необходимо создать сервисный аккаунт в Google BigQuery (с правами администратора), скачать для него json-токен и затем использовать его при настройке выгрузки из Алитикса. Сервисный аккаунт создает в интерфейсе BIgQuery и для его создания у вас должны быть права администратора в проекте BigQuery в который вы планируете экспортировать данные.

Чтобы создать сервисный аккаунт:

1. Перейдите в настройки ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > IAM & Admin > Service accounts:

Google Cloud Platform 1.png

2. Перейдите к созданию нового сервисного аккаунта (Create service account) и заполните параметры аккаунта по шагам.

На первом шаге укажите имя аккаунта (любое на ваше усмотрение):

Google Cloud Platform 2.png

На втором шаге укажите аккаунту роль BigQuery Admin:

Google Cloud Platform 3.png

Остальные поля можно не заполнять.

На третьем шаге, не заполняя поля, нажмите + CREATE KEY.

Google Cloud Platform 4.png

в появившейся форме Create key выберите Key type JSON и нажмите CREATE.

Google Cloud Platform 5.png

Токен будет загружен к вам на компьютер в виде файла. В дальнейшем вы будете использовать его в настройках экспорта данных из Алитикса в GBQ (они описаны ниже).


Настройка профиля экспорта данных из Alytics в Google BigQuery

1. Перейдите в раздел Инструменты > Экспорт в Google BigQuery:

Mainmenugbq.png

2. На открывшейся странице нажмите кнопку «Добавить профиль экспорта данных»:

GBQ 1.1.png

И укажите параметры экспорта в GBQ в появившейся форме:

GBQ 2.1.png

параметры профиля экспорта:

Параметр Описание / влияние на экспорт Значение по умолчанию Правила валидации во фронтенде Сообщение при ошибке
Название профиля Название профиля, указанное пользователем. Экспорт в Google BigQuery Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание, число символов до 1024. Если некорректные символы:"Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание."Если больше 1024:"Название может содержать до 1024 символов."Если обе ошибки то отображаются вместе списком.
Активность экспорта Активирует или деактивирует операции экспорта связанные с данным профилем. Да - -
Токен GBQ Файл с токеном. Пользователь скачивает его в ресурсе в UI GBQ и загружает к нам. Инструкция по получению токена. Значения по умолчанию нет Выбрать можно только файл с расширением *.json "Необходимо загрузить файл с расширением .json."
Набор данных в GBQ Если набор с указанным названием уже существует, то опубликуем данные в него, если не существует, то создадим набор данных с указанным названием.Значение по умолчанию alytics_gbq_export alytics_gbq_export Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024. Если некорректные символы:"Название может содержать только латинские буквы, цифры, тире и подчеркивание."Если больше 1024:"Название может содержать до 1024 символов."Если обе ошибки то отображаются вместе списком.
Таблица в GBQ Если указана таблица существующая в наборе данных, то мы заменим данные в ней (удалим все, что было до и зальем новые), если не существующая, то создадим новую таблицу. alytics_project_id_{ХХХХ}, где {ХХХХ} — id текущего проекта. Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024.
Цели для экспорта Пользователю нужно выбрать минимум одну цель для экспорта.После сохранения настроек профиля, изменить набор целей нельзя. Если нужен другой набор целей, то необходимо удалить старый профиль и настроить новый (сценарий детально описан ниже). Значения по умолчанию нет. Должна быть выбрана хотя бы одна цель. "Должна быть выбрана хотя бы одна цель."
Дата начала данных для экспорта Начало периода за который будут экспортированы данные в Big Query, конец периода — вчерашний день.В датапикере можно выбрать даты до текущей. Значения по умолчанию нет. Дата должна быть не больше текущей и не меньше -180 дней относительно текущей. Дизейблим в датапикере все даты за пределами диапазона.Если руками вбита некорректная дата то отображаем сообщение:«Дата должна быть в пределах периода от ДД.ММ.ГГГГ1 до ДД.ММ.ГГГГ2.»Где: ДД.ММ.ГГГГ1 — текущая дата - 180 дней.ДД.ММ.ГГГГ2 — текущая дата.


3. Пользователь сохраняет настройки экспорта.

При сохранении происходит валидация во фронтенде согласно указанным правилам, при ошибке данные не передаются в бекенд, и пользователь видит текст связанных ошибок в тултипах. Если в ui проверки пройдены данные передаются в бекенд и валидируется доступ к данным и название таблицы, ошибки также отображаются в тултипах.

4. Пользователь может создать один профиль экспорта для проекта. После сохранения настроек профиля, пользователь может внести следующие изменения в настройки:

  • изменить название профиля,
  • изменить активность экспорта,
  • обновить файл с токеном.


Поля "Набор данных в GBQ", "Таблица GBQ", "Дата начала данных для экспорта" находятся в состоянии дизейбл их отредактировать нельзя, список настроенных целей можно просто посмотреть (детали ниже).

При наведении на задизейбленные поля отображаем тултип с текстом: "Изменить настройки созданного профиля нельзя, но вы можете удалить созданный профиль и создать новый."

Актуальный текст: Токен добавлен, все ок.

GBQ 3.png

5. Удаление профиля происходит через окно подтверждения, если пользователь выбирает удаление данных в GBQ то удаляется связанная с профилем таблица внутри набора данных в GBQ:

GBQ 4.png

Выбор целей при настройке профиля

Пользователь нажимает на кнопку "ВЫБРАТЬ ЦЕЛИ":

GBQ 5.png

и выбирает набор целей во всплывающем окне, интерфейс в окне выбора целей идентичен интерфейсу вкладки "Настройка целей", но все элементы управления целями отсутствуют, можно просто добавить цель и выбрать модель атрибуции:

GBQ 6.png

нажимает "СОХРАНИТЬ НАБОР ЦЕЛЕЙ", окно закрывается и в блоке настройки профиля экспорта отображается число выбранных целей:

GBQ 7.png

пока пользователь не сохранил настройки профиля, пользователь может отредактировать набор целей,

после сохранения можно только просмотреть выбранные цели:

GBQ 8.png

окно просмотра целей просто отображает набор выбранных целей:

GBQ 9.png

Сценарий импорта данных в Google BigQuery

Правила экспорта

  • Ежедневно в 08:00 мы выгружаем данные в GBQ, обновление данных выполняется инкрементально: в Google BigQuery передаются новые и обновленные данные за период от даты начала экспорта до вчерашней даты.  
  • В экспорт попадают все параметры, все показатели блока трафик и все показатели выбранных в профиле целей.
  • Данные экспортированные из Alytics в GBQ собираются в наборе данных с названием указанным в настройках профиля экспорта (по умолчанию "alytics_gbq_export").
  • В наборе данных создается отдельная таблица с названием указанным в настройках профиля (по умолчанию "alytics_project_id_{ХХХХ}").
  • Если данные для какого-то поля отсутствуют: передаем "0" для числовых полей и "-" для текстовых полей.


Структура таблицы с экспортируемыми данными

Название поля Тип данных Описание
Поля с параметрами
Дата Date (YYYYMMDD) Метка даты для метрик.
ID проекта Integer ID проекта.
Группа источника Text Группа источника трафика. Если группы нет то источник / канал.
Источник / канал Text Название источника, равно названию в Алитиксе.
Кампания Text Название кампании источника, равно названию в Алитиксе. Для Маркета — название фида.
ID кампании Integer ID кампании, для кампаний где мы получаем ID.
Город Text Город из GA
Регион Text Регион
Страна Text Страна из GA
Показатели трафика
Показы Number Число показов рекламного сообщения пользователю.
Клики Number Число кликов по рекламным объявлениям.
Сеансы Number Число сеансов привлеченных на сайт.
Затраты Number Сумма расходов на рекламу.
Цена клика Number Средняя стоимость одного клика по рекламе.
CTR, % Number Click-Through Rate - отношение числа кликов к числу показов рекламных объявлений, измеряется в процентах.
Отказы, % Number Процент нецелевых сеансов в ходе которых пользователи покидали сайт сразу после загрузки, не взаимодействуя с ним.
Время, сек Number Средняя продолжительность одного сеанса, измеряется в секундах.
Стр / сеанс Number Среднее число страниц просмотренных в ходе одного сеанса.
Новые, % Number Процент сеансов посетителей которые зашли на сайт впервые за указанный диапазон дат.
Показатели целей
Кол-во +Название цели +Название модели атрибуции +Название сервиса Number Количество достижений цели, звонков или сделок из CRM.
Выручка +Название цели +Название модели атрибуции +Название сервиса Number Выручка от привлеченных продаж.
Прибыль +Название цели +Название модели атрибуции +Название сервиса Number Прибыль от привлеченных продаж.
Чистая прибыль +Название цели +Название модели атрибуции +Название сервиса Number Чистая прибыль от привлеченных продаж. Рассчитывается как разница между полученной прибылью и затратами на рекламу.
CPA +Название цели +Название модели атрибуции +Название сервиса Number Cost Per Action – стоимость достижения цели, звонка или сделки из CRM.
CR, % +Название цели +Название модели атрибуции +Название сервиса Number Conversion Rate – коэффициент конверсии. Рассчитывается как отношение количества достигнутых конверсий (цели, звонки, сделки из CRM) к числу кликов.
Средний чек +Название цели +Название модели атрибуции +Название сервиса Number Средний чек показывает усредненную выручку от одной продажи.
ROI, % +Название цели +Название модели атрибуции +Название сервиса Number Return On Investment – показатель окупаемости затрат на рекламу. Рассчитывается как отношение полученной прибыли к вложениям в рекламу. Формула ROI = (Прибыль - Затраты) / Затраты * 100.
ROAS, % +Название цели +Название модели атрибуции +Название сервиса Number Return On Advertising Spend – показатель, который измеряет прибыль от размещения рекламы. Рассчитывается как отношение заработанного на рекламе к потраченному. Формула ROAS = Выручка / Затраты * 100.
ДРР, % +Название цели +Название модели атрибуции +Название сервиса Number Доля Рекламных Расходов – отношение вложенных средств к полученной выручке. Формула ДРР = Затраты/Выручка*100%.


Текущие ограничения

В первой версии данные можно выгрузить с группировкой до кампаний (группировки до групп, объявлений, фраз в первой версии пока нет).