Экспорт во внешние системы
Содержание
Экспорт данных из Alytics в Google BigQuery
Пользователи Alytics могут экспортировать данные собранные у нас в системе в Google BigQuery. Эта возможность пригодится при решении задач связанных с обработкой полученных данных или как инструмент для транзита данных во внешние системы, если для этих систем созданы коннекторы в Google BigQuery.
Для экспорта данных из Алитикса вам необходимо активировать API BIgQuery создать сервисный аккаунт в Google BigQuery и затем настроить в Alytics профиль экспорта, используя токен созданного аккаунта.
Ниже приведена подробная инструкция и описан сценарий экспорта.
Активация BigQuery API в Google Cloud Platform
Для передачи данных из Alytics в BigQuery, вам необходимо активировать BigQuery API в своем аккауте Google Cloud Platform. Для активации выполните следующее:
1. Перейдите в раздел APIs & Services ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > APIs & Services:
2. Перейдите в библиотеку доступных API кликнув на «ENABLE APIS AND SERVICES»:
3. В библиотеке доступных API введите в поиск «BigQuery API»:
Кликните на «BigQuery API» в результатах и активируйте его.
Создание сервисного аккаунта в Google BigQuery и получение json-токена
Сначала вам необходимо создать сервисный аккаунт в Google BigQuery (с правами администратора), скачать для него json-токен и затем использовать его при настройке выгрузки из Алитикса. Сервисный аккаунт создает в интерфейсе BIgQuery и для его создания у вас должны быть права администратора в проекте BigQuery в который вы планируете экспортировать данные.
Чтобы создать сервисный аккаунт:
1. Перейдите в настройки ресурса (проекта) в который будет выполняться экспорт данных: Google Cloud Platform > IAM & Admin > Service accounts:
2. Перейдите к созданию нового сервисного аккаунта (Create service account) и заполните параметры аккаунта по шагам.
На первом шаге укажите имя аккаунта (любое на ваше усмотрение):
На втором шаге укажите аккаунту роль BigQuery Admin:
Остальные поля можно не заполнять.
На третьем шаге, не заполняя поля, нажмите + CREATE KEY.
в появившейся форме Create key выберите Key type JSON и нажмите CREATE.
Токен будет загружен к вам на компьютер в виде файла. В дальнейшем вы будете использовать его в настройках экспорта данных из Алитикса в GBQ (они описаны ниже).
Настройка профиля экспорта данных из Alytics в Google BigQuery
1. Перейдите в раздел Инструменты > Экспорт в Google BigQuery:
2. На открывшейся странице нажмите кнопку «Добавить профиль экспорта данных»:
И укажите параметры экспорта в GBQ в появившейся форме:
описание параметров и влияние на экспорт:
| Параметр | Описание / влияние на экспорт | Значение по умолчанию | Особенности заполнения |
|---|---|---|---|
| Название профиля | Просто название профиля, указанное пользователем, при экспорте никак не учитывается. | Экспорт в Google BigQuery | Название может содержать только кириллические и латинские буквы, цифры, тире и подчеркивание, число символов до 1024. |
| Активность экспорта | Активирует или деактивирует операции экспорта связанные с данным профилем. | Активно | - |
| Токен GBQ | Файл с токеном, который вы скачали в GBQ. Инструкция по получению токена выше. | - | - |
| Набор данных в GBQ | Если набор с указанным названием уже существует, то мы опубликуем данные в него, если не существует, то создадим набор данных с указанным названием. | alytics_gbq_export | Название может содержать только латинские буквы, цифры, тире и подчеркивание, число символов до 1024. |
| Таблица в GBQ | Если указана таблица существующая в наборе данных, то мы заменим данные в ней (удалим все, что было до и зальем новые), если не существующая, то создадим новую таблицу. | alytics_project_id_{ХХХХ}, где {ХХХХ} — id текущего проекта. | - |
| Цели для экспорта | Вам нужно выбрать минимум одну цель для экспорта. После сохранения настроек профиля, изменить набор целей нельзя. Если нужен другой набор целей, то необходимо удалить старый профиль и настроить новый (настройка целей детально описана ниже). | Значения по умолчанию нет. | Должна быть выбрана хотя бы одна цель. |
| Дата начала данных для экспорта | Начало периода за который будут экспортированы данные в Big Query, конец периода — вчерашний день. В датапикере можно выбрать даты до текущей. | Значения по умолчанию нет. | Дата должна быть не больше текущей и не меньше 180 дней относительно текущей. |
3. Сохраните настройки экспорта.
После сохранения вы сможет внести следующие изменения в настройки:
- изменить название профиля,
- изменить активность экспорта,
- обновить файл с токеном.
Ели вам нужно изменить какие-то другие настройки, удалите созданный профиль и создайте новый.
4. Удаление профиля происходит через окно подтверждения, если если вы выберите удаление данных в GBQ, то удалится и связанная с профилем таблица внутри набора данных в GBQ:
Если выберете не удалять то таблица с накопленными данными останется.
Выбор целей при настройке профиля
Для выбора целей, показатели которых нужно экспортировать в GBQ, нажмите на кнопку "ВЫБРАТЬ ЦЕЛИ":
в появившемся окне добавьте в список "Выгружать в Google BigQuery", нужные вам цели и модель атрибуции для каждой:
Обратите внимание: для каждой цели формируется "Префикс полей в GBQ", префикс формируется транслитерацией названия цели и модели атрибуции и может быть изменен на удобный вам. Префикс нужен для того чтобы вам было проще найти нужное поле в таблице GBQ, он будет добавлен в начале к названию каждого показателя.
После настройки нажмите "СОХРАНИТЬ НАБОР ЦЕЛЕЙ", пока вы не сохранили настройки профиля, вы можете отредактировать набор целей. После сохранения профиля можно будет только просмотреть выбранные цели, а для внесения изменения нужно будет удалить профиль и создать новый.
Сценарий импорта данных из Alytics в Google BigQuery
Правила экспорта:
- Ежедневно в 08:00 мы выгружаем данные в GBQ, обновление данных выполняется инкрементально: в Google BigQuery передаются новые и обновленные данные за период от даты начала экспорта до вчерашней даты.
- В экспорт попадают все параметры, все показатели блока трафик и все показатели выбранных в профиле целей.
- Данные экспортированные из Alytics в GBQ собираются в наборе данных с названием указанным в настройках профиля экспорта (по умолчанию "alytics_gbq_export").
- В наборе данных создается отдельная таблица с названием указанным в настройках профиля (по умолчанию "alytics_project_id_{ХХХХ}").
- Если данные для какого-то поля отсутствуют: передаем "0" для числовых полей и "-" для текстовых полей.
Текущие ограничения
В первой версии данные можно выгрузить с группировкой до кампаний (группировки до групп, объявлений, фраз в первой версии нет).
Обратите внимание: данные передаются из Alytics в Google BigQuery с задержкой в 2 дня.
Схема и содержание таблицы GBQ с экспортируемыми данными
| Поле в Alytics | Название поля в GBQ | Тип данных | Описание данных | Описание для поля в GBQ |
|---|---|---|---|---|
| Поля с параметрами | ||||
| Дата | date | Date (YYYYMMDD) | Метка даты для метрик. | Дата |
| ID проекта | project_id | Integer | ID проекта. | ID проекта в Alytics |
| Группа источника | group_name | Text | Группа источника трафика. Если группы нет то источник / канал. | Группа источника трафика |
| Источник / канал | source | Text | Название источника, равно названию в Алитиксе. | Название источника |
| Кампания | campaign_name | Text | Название кампании источника, равно названию в Алитиксе. Для Маркета — название фида. | Название рекламной кампании или фида Яндекс Маркета |
| ID кампании | campaign_id | Integer | ID кампании, для кампаний где мы получаем ID. | ID рекламной кампании |
| Город | city | Text | Город из GA | Город |
| Регион | region | Text | Регион из GA | Регион |
| Страна | country | Text | Страна из GA | Страна |
| Показатели трафика | ||||
| Показы | costs_shows | Number | Число показов рекламного сообщения пользователю. | Показы |
| Клики | costs_clicks | Number | Число кликов по рекламным объявлениям. | Клики |
| Сеансы | sessions_sessions | Number | Число сеансов привлеченных на сайт. | Сеансы |
| Затраты | costs_cost | Number | Сумма расходов на рекламу. | Затраты |
| Цена клика | costs_cpc | Number | Средняя стоимость одного клика по рекламе. | Цена клика |
| CTR, % | costs_ctr | Number | Click-Through Rate - отношение числа кликов к числу показов рекламных объявлений, измеряется в процентах. | CTR |
| Отказы, % | sessions_bounce_rate | Number | Процент нецелевых сеансов в ходе которых пользователи покидали сайт сразу после загрузки, не взаимодействуя с ним. | Отказы |
| Время, сек | sessions_average_time | Number | Средняя продолжительность одного сеанса, измеряется в секундах. | Время на сайте |
| Стр / сеанс | sessions_pages_per_visit | Number | Среднее число страниц просмотренных в ходе одного сеанса. | Среднее число страниц, просмотренных в ходе одного сеанса. |
| Новые, % | sessions_new_visits | Number | Процент сеансов посетителей которые зашли на сайт впервые за указанный диапазон дат. | Процент сеансов посетителей, которые зашли на сайт впервые. |
| Показатели целей (для каждой из добавленных целей) | ||||
| Кол-во | {префикс цели}_count | Number | Количество достижений цели, звонков или сделок из CRM. | Количество достижений цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| Выручка | {префикс цели}_revenue | Number | Выручка от привлеченных продаж. | Выручка цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| Прибыль | {префикс цели}_gross_profit | Number | Прибыль от привлеченных продаж. | Прибыль цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| Чистая прибыль | {префикс цели}_net_profit | Number | Чистая прибыль от привлеченных продаж. Рассчитывается как разница между полученной прибылью и затратами на рекламу. | Чистая прибыль цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| CPA | {префикс цели}_cpa | Number | Cost Per Action – стоимость достижения цели, звонка или сделки из CRM. | Стоимость достижения цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| CR, % | {префикс цели}_cr | Number | Conversion Rate – коэффициент конверсии. Рассчитывается как отношение количества достигнутых конверсий (цели, звонки, сделки из CRM) к числу кликов. | Коэффициент конверсии цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| Средний чек | {префикс цели}_aov | Number | Средний чек показывает усредненную выручку от одной продажи. | Средний чек цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| ROI, % | {префикс цели}_roi | Number | Return On Investment – показатель окупаемости затрат на рекламу. Рассчитывается как отношение полученной прибыли к вложениям в рекламу. Формула ROI = (Прибыль - Затраты) / Затраты * 100. | ROI цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| ROAS, % | {префикс цели}_roas | Number | Return On Advertising Spend – показатель, который измеряет прибыль от размещения рекламы. Рассчитывается как отношение заработанного на рекламе к потраченному. Формула ROAS = Выручка / Затраты * 100. | ROAS цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
| ДРР, % | {префикс цели}_drr | Number | Доля Рекламных Расходов – отношение вложенных средств к полученной выручке. Формула ДРР = Затраты/Выручка*100%. | ДРР цели «{Название цели как в UI}» с моделью {Название модели как в UI}* из {Название сервиса как в UI} |
* – для составных целей в описании указываем модель «составная».