Экспорт во внешние системы
Содержание
Экспорт данных из Alytics в Google BigQuery
Пользователи Alytics могут экспортировать данные собранные у нас в системе в Google BigQuery. Эта возможность пригодится при решении задач связанных с обработкой полученных данных или как инструмент для транзита данных во внешние системы, если для этих систем созданы коннекторы в Google BIgQuery.
Для экспорта данных из Алитикса вам необходимо создать сервисный аккаунт в Google BigQuery и затем настроить в Alytics профиль экспорта, используя токен созданного аккаунта.
Ниже приведена подробная инструкция и описана логика экспорта.
Создание сервисного аккаунта в Google BigQuery и получение json-токена
Сначала вам необходимо создать сервисный аккаунт в Google BigQuery (с правами администратора), скачать для него json-токен и затем использовать его при настройке выгрузки из Алитикса. Сервисный аккаунт создает в интерфейсе BIgQuery и для его создания у вас должны быть права администратора в проекте BigQuery в который вы планируете экспортировать данные.
Чтобы создать сервисный аккаунт:
1. Перейдите в настройки ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > IAM & Admin > Service accounts:
2. Перейдите к созданию нового сервисного аккаунта (Create service account) и заполните параметры аккаунта по шагам.
На первом шаге укажите имя аккаунта (любое на ваше усмотрение):
На втором шаге укажите аккаунту роль BigQuery Admin:
Остальные поля можно не заполнять.
На третьем шаге, не заполняя поля, нажмите + CREATE KEY.
в появившейся форме Create key выберите Key type JSON и нажмите CREATE.
Токен будет загружен к вам на компьютер в виде файла. В дальнейшем вы будете использовать его в настройках экспорта данных из Алитикса в GBQ (они описаны ниже).
Настройка профиля экспорта данных из Alytics в Google BigQuery
1. Перейдите в раздел Инструменты > Экспорт в Google BigQuery:
2. На открывшейся странице нажмите кнопку «Добавить профиль экспорта данных»:
И укажите параметры экспорта в GBQ в появившейся форме:
параметры профиля экспорта:
| Параметр | Описание / влияние на экспорт | Значение по умолчанию | Правила валидации во фронтенде | Сообщение при ошибке |
|---|---|---|---|---|
| Название профиля | Название профиля, указанное пользователем. | Экспорт в Google BigQuery | Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание, число символов до 1024. | Если некорректные символы:"Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание."Если больше 1024:"Название может содержать до 1024 символов."Если обе ошибки то отображаются вместе списком. |
| Активность экспорта | Активирует или деактивирует операции экспорта связанные с данным профилем. | Да | - | - |
| Токен GBQ | Файл с токеном. Пользователь скачивает его в ресурсе в UI GBQ и загружает к нам. Инструкция по получению токена. | Значения по умолчанию нет | Выбрать можно только файл с расширением *.json | "Необходимо загрузить файл с расширением .json." |
| Набор данных в GBQ | Если набор с указанным названием уже существует, то опубликуем данные в него, если не существует, то создадим набор данных с указанным названием.Значение по умолчанию alytics_gbq_export | alytics_gbq_export | Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024. | Если некорректные символы:"Название может содержать только латинские буквы, цифры, тире и подчеркивание."Если больше 1024:"Название может содержать до 1024 символов."Если обе ошибки то отображаются вместе списком. |
| Таблица в GBQ | Если указана таблица существующая в наборе данных, то мы заменим данные в ней (удалим все, что было до и зальем новые), если не существующая, то создадим новую таблицу. | alytics_project_id_{ХХХХ}, где {ХХХХ} — id текущего проекта. | Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024. | |
| Цели для экспорта | Пользователю нужно выбрать минимум одну цель для экспорта.После сохранения настроек профиля, изменить набор целей нельзя. Если нужен другой набор целей, то необходимо удалить старый профиль и настроить новый (сценарий детально описан ниже). | Значения по умолчанию нет. | Должна быть выбрана хотя бы одна цель. | "Должна быть выбрана хотя бы одна цель." |
| Дата начала данных для экспорта | Начало периода за который будут экспортированы данные в Big Query, конец периода — вчерашний день.В датапикере можно выбрать даты до текущей. | Значения по умолчанию нет. | Дата должна быть не больше текущей и не меньше -180 дней относительно текущей. | Дизейблим в датапикере все даты за пределами диапазона.Если руками вбита некорректная дата то отображаем сообщение:«Дата должна быть в пределах периода от ДД.ММ.ГГГГ1 до ДД.ММ.ГГГГ2.»Где: ДД.ММ.ГГГГ1 — текущая дата - 180 дней.ДД.ММ.ГГГГ2 — текущая дата. |
3. Пользователь сохраняет настройки экспорта.
При сохранении происходит валидация во фронтенде согласно указанным правилам, при ошибке данные не передаются в бекенд, и пользователь видит текст связанных ошибок в тултипах. Если в ui проверки пройдены данные передаются в бекенд и валидируется доступ к данным и название таблицы, ошибки также отображаются в тултипах.
4. Пользователь может создать один профиль экспорта для проекта. После сохранения настроек профиля, пользователь может внести следующие изменения в настройки:
- изменить название профиля,
- изменить активность экспорта,
- обновить файл с токеном.
Поля "Набор данных в GBQ", "Таблица GBQ", "Дата начала данных для экспорта" находятся в состоянии дизейбл их отредактировать нельзя, список настроенных целей можно просто посмотреть (детали ниже).
При наведении на задизейбленные поля отображаем тултип с текстом: "Изменить настройки созданного профиля нельзя, но вы можете удалить созданный профиль и создать новый."
Актуальный текст: Токен добавлен, все ок.
5. Удаление профиля происходит через окно подтверждения, если пользователь выбирает удаление данных в GBQ то удаляется связанная с профилем таблица внутри набора данных в GBQ:
Выбор целей при настройке профиля
Пользователь нажимает на кнопку "ВЫБРАТЬ ЦЕЛИ":
и выбирает набор целей во всплывающем окне, интерфейс в окне выбора целей идентичен интерфейсу вкладки "Настройка целей", но все элементы управления целями отсутствуют, можно просто добавить цель и выбрать модель атрибуции:
нажимает "СОХРАНИТЬ НАБОР ЦЕЛЕЙ", окно закрывается и в блоке настройки профиля экспорта отображается число выбранных целей:
пока пользователь не сохранил настройки профиля, пользователь может отредактировать набор целей,
после сохранения можно только просмотреть выбранные цели:
окно просмотра целей просто отображает набор выбранных целей:
Сценарий импорта данных в Google BigQuery
Правила экспорта
- Ежедневно в 08:00 мы выгружаем данные в GBQ, обновление данных выполняется инкрементально: в Google BigQuery передаются новые и обновленные данные за период от даты начала экспорта до вчерашней даты.
- В экспорт попадают все параметры, все показатели блока трафик и все показатели выбранных в профиле целей.
- Данные экспортированные из Alytics в GBQ собираются в наборе данных с названием указанным в настройках профиля экспорта (по умолчанию "alytics_gbq_export").
- В наборе данных создается отдельная таблица с названием указанным в настройках профиля (по умолчанию "alytics_project_id_{ХХХХ}").
- Если данные для какого-то поля отсутствуют: передаем "0" для числовых полей и "-" для текстовых полей.
Структура таблицы с экспортируемыми данными
| Название поля | Тип данных | Описание |
|---|---|---|
| Поля с параметрами | ||
| Дата | Date (YYYYMMDD) | Метка даты для метрик. |
| ID проекта | Integer | ID проекта. |
| Группа источника | Text | Группа источника трафика. Если группы нет то источник / канал. |
| Источник / канал | Text | Название источника, равно названию в Алитиксе. |
| Кампания | Text | Название кампании источника, равно названию в Алитиксе. Для Маркета — название фида. |
| ID кампании | Integer | ID кампании, для кампаний где мы получаем ID. |
| Город | Text | Город из GA |
| Регион | Text | Регион |
| Страна | Text | Страна из GA |
| Показатели трафика | ||
| Показы | Number | Число показов рекламного сообщения пользователю. |
| Клики | Number | Число кликов по рекламным объявлениям. |
| Сеансы | Number | Число сеансов привлеченных на сайт. |
| Затраты | Number | Сумма расходов на рекламу. |
| Цена клика | Number | Средняя стоимость одного клика по рекламе. |
| CTR, % | Number | Click-Through Rate - отношение числа кликов к числу показов рекламных объявлений, измеряется в процентах. |
| Отказы, % | Number | Процент нецелевых сеансов в ходе которых пользователи покидали сайт сразу после загрузки, не взаимодействуя с ним. |
| Время, сек | Number | Средняя продолжительность одного сеанса, измеряется в секундах. |
| Стр / сеанс | Number | Среднее число страниц просмотренных в ходе одного сеанса. |
| Новые, % | Number | Процент сеансов посетителей которые зашли на сайт впервые за указанный диапазон дат. |
| Показатели целей | ||
| Кол-во +Название цели +Название модели атрибуции +Название сервиса | Number | Количество достижений цели, звонков или сделок из CRM. |
| Выручка +Название цели +Название модели атрибуции +Название сервиса | Number | Выручка от привлеченных продаж. |
| Прибыль +Название цели +Название модели атрибуции +Название сервиса | Number | Прибыль от привлеченных продаж. |
| Чистая прибыль +Название цели +Название модели атрибуции +Название сервиса | Number | Чистая прибыль от привлеченных продаж. Рассчитывается как разница между полученной прибылью и затратами на рекламу. |
| CPA +Название цели +Название модели атрибуции +Название сервиса | Number | Cost Per Action – стоимость достижения цели, звонка или сделки из CRM. |
| CR, % +Название цели +Название модели атрибуции +Название сервиса | Number | Conversion Rate – коэффициент конверсии. Рассчитывается как отношение количества достигнутых конверсий (цели, звонки, сделки из CRM) к числу кликов. |
| Средний чек +Название цели +Название модели атрибуции +Название сервиса | Number | Средний чек показывает усредненную выручку от одной продажи. |
| ROI, % +Название цели +Название модели атрибуции +Название сервиса | Number | Return On Investment – показатель окупаемости затрат на рекламу. Рассчитывается как отношение полученной прибыли к вложениям в рекламу. Формула ROI = (Прибыль - Затраты) / Затраты * 100. |
| ROAS, % +Название цели +Название модели атрибуции +Название сервиса | Number | Return On Advertising Spend – показатель, который измеряет прибыль от размещения рекламы. Рассчитывается как отношение заработанного на рекламе к потраченному. Формула ROAS = Выручка / Затраты * 100. |
| ДРР, % +Название цели +Название модели атрибуции +Название сервиса | Number | Доля Рекламных Расходов – отношение вложенных средств к полученной выручке. Формула ДРР = Затраты/Выручка*100%. |
Текущие ограничения
В первой версии данные можно выгрузить с группировкой до кампаний (группировки до групп, объявлений, фраз в первой версии пока нет).