Рекапча v3 что это
Третья версия reCAPTCHA срабатывает в фоне незаметно для пользователей
В мае этого года на конференции конференции Google I/O 2018 представили третью версия технологии reCAPTCHA — reCAPTCHA v3 (бета). Как известно, это самая популярная система типа CAPTCHA, которая создана для блокировки ботов, то есть автоматизированных действий на разных сервисах.
Систему критиковали за эксплуатацию бесплатного человеческого труда (в случае первой версии, которую Google использовала для оцифровки книг), за осложнение жизни людям с нарушениями зрения и другими болезнями вроде дислексии. Ещё reCAPTCHA критикуют за излишнюю сложность: людям трудно или невозможно правильно ответить на вопрос: тест становится просто абсурдным. На иллюстрации слева показы несколько примеров с первой версии reCAPTCHA. Ситуация не слишком улучшилась с выпуском второй версии (где нужно выбрать картинки, содержащие указанный объект).
Но третья версия — совершенно другое дело. Она точно никому не помешает, потому что работает незаметно для пользователей, используя методы поведенческого анализа.
Сначала немного истории. Первая версия reCAPTCHA появилась в далёком 2007 году и служила благой цели: одновременно с блокировкой спама и ботов она ещё помогала в оцифровке книг. К 2011 году с её помощью уточнялись результаты OCR в оцифровке архивов газеты The New York Times (более 13 млн статей с 1851 года) и книг Google Books.
С 2012 года в систему добавили фрагменты фотографий домов из сервиса Google Street View. Примерно с 2013 года Google начала применять поведенческий анализ действий пользователя в браузере (advanced risk analysis), а в 2014 году была реализована вторая версия системы, где нужно было выбрать несколько «правильных» картинок из набора девяти изображений, но при этом появилась возможность пройти тест в один клик. Если действия были похожи на человека, то пользователь проходил тест без решения каких-либо задач вообще: просто достаточно нажать кнопку «Я не робот» (так называемая NoCAPTCHA). Если действия похожи на бота — ему давали усложнённый тест с распознаванием объектов на изображениях.
NoCAPTCHA
Здесь проблема была в том, что кроме поведенческого анализа проверялись ещё куки на компьютере — и NoCAPTCHA была практически недоступна для браузеров в анонимном режиме или тех, кто чистит куки по окончании сессии.
Третья версия
Презентация третьей версии системы на конференции Google I/O 2018
В третьей версии reCAPTCHA усовершенствован поведенческий анализ (или слежка Google за пользователями, если кто-то представляет это в таком свете), то есть та самая вышеупомянутая система advanced risk analysis, продвинутого анализа риска.
Теперь система работает «в фоне» и незаметно для пользователей. Достаточно загрузить вместе со страницей библиотеку reCAPTCHA и запустить grecaptcha.execute в определённый момент или сразу в момент загрузки страницы. И это всё. Пользователь ничего не замечает — а вы через через JavaScript API получите с сервера reCAPTCHA оценку этого пользователя на основании его взаимодействия с сайтом и других параметров.
Есть предположения, что кроме движения курсора мыши, система начала отслеживать и другие параметры, такие как нажатия мыши. Об этом можно только догадываться. Никакой информации о внутренней работе системы Google на даёт, чтобы не помогать спамерам и владельцам ботов.
С точки зрения веб-мастера, может быть, главное отличие третьей версии — что по запросу через API сервер reCAPTCHA выдаёт не бинарное значение, а оценку в диапазоне от 0.0 (вероятный бот) до 1.0 (вероятный человек) для данного конкретного запроса. Ответ присылается в формате JSON:
Как видно из ответа сервера, в reCAPTCHA v3 представлена новая концепция «действий» (actions). Если определить разные названия действий в разных местах сайта, то система как бы начнёт «подстраиваться» под разные нужды: станет адаптивной (adaptive risk analysis).
Другими словами, владелец сайта сам выбирает «уровень отсечения» и какие действия предпринимать для пользователей выше или ниже этого уровня на разных страницах. По умолчанию уровень установлен в 0.5. Например, на главной странице рекомендуется блокировать только явные скраперы (скажем, только 0.0). На форме авторизации можно фильтровать всех, кто ниже 0.5, предлагая им двухфакторную авторизацию или верификацию почтового адреса, чтобы защититься от брутфорс-атак. Теперь проверку можно запускать несколько раз на одной странице, в нужные моменты времени и незаметно для пользователя.
Чтобы принять участие в бета-тестировании третьей версии системы, необходимо зарегистрировать на этой странице.
Представляем вам обзорную статью об обходе (автоматическом решении) reCAPTCHA V3 с помощью сервиса RuCaptcha. Она во многом повторяет предыдущие статьи про reCAPTCHA V3, но является наиболее полной инструкцией для разработчиков и заказчиков.
RuCaptcha полноценно решает reCAPTCHA V3
reCAPTCHA V3 не является капчей в чистом виде, а именно автоматизированным тестом тьюринга для различия компьютеров и людей. reCAPTCHA V3 — это скоринговая оценка браузера на предмет того, кто управляет браузером: человек или программа. reCAPTCHA V3 решается всегда, даже самым заспамленным браузером через публичный прокси, однако при проверке ответа сайтом, где установлена V3, сайт получит от серверов reCAPTCHA значение score от 0.1 до 0.9, где 0.1 означает «почти точно это автоматизированный браузер», а 0.9 — это «почти точно браузером управляет человек». RuCaptcha предоставляет токены, которые при проверке получают score = 0.9.
Как определить, что на странице именно ReCaptcha V3
reCAPTCHA V2: На странице есть чекбокс, где ставится галочка.
reCAPTCHA V2 Invisible: На странице нет чекбокса, но есть логотип reCAPTCHA в правом нижнем углу, и при отправке формы иногда просят выбрать картинки.
reCAPTCHA V3: На странице нет чекбокса, но есть логотип reCAPTCHA в правом нижнем углу, при отправке формы никогда не просят выбрать картинки.
Иногда сложно отличить V2 Invisible от V3. В таких случаях просто откройте консоль браузера Command+Option+C (Mac) or Control+Shift+C (Windows, Linux, Chrome OS) и на вкладке Network посмотрите, какие запросы отправляет ваш браузер к домену google.com (или recaptcha.net на некоторых сайтах).
Найдите запрос
https://www.google.com/recaptcha/api2/reload?k=
Потом поищите запрос
https://www.google.com/recaptcha/api2/userverify?k=
Как отправить капчу на rucaptcha.com и получить решение
Всё очень просто. Вам нужно сделать лишь 3 GET или POST запроса:
1. Загрузка капчи URL для запроса: http://rucaptcha.com/in.php
В теле запроса необходимо передать следующие параметры:
В ответ вы получите ID капчи:
Либо, если что-то пошло не так, API вернёт ошибку. Список и описание ошибок можно найти в документации API: Список ошибок при приёме капчи.
2. Получение ответа на капчу
Подождите 5 секунд и отправьте запрос на получение токена
URL для запроса: http://rucaptcha.com/res.php
В теле запроса необходимо передать следующие параметры:
| Параметр | Значение | Описание |
|---|---|---|
| key | Ваш APIKEY | |
| action | get | Указание, что вы хотите получить результат решения капчи |
| id | ID капчи, полученный на прошлом шаге | |
| json | 1 | Необязательный параметр. Указание нашему серверу вернуть ответ в формате JSON. По умолчанию ответ возвращается текстом. |
В ответ, если капча уже решена, и запрос корректен, вы получите примерно такой ответ:
Где в поле request содержится токен, являющийся решением капчи. Его нужно использовать на странице с капчей.
Если капча ещё не решена, вы получите
3. Уведомление о качестве токена
Это необязательный параметр. Однако мы настоятельно рекомендуем его использовать. Его использование позволит вам тратить меньше денег и получать больший процент рабочих токенов.
Мы используем уникальные для каждого заказчика AllowList и BlockList компьютеров, где решаются reCAPTCHA V3. Чтобы их заполнить, вам нужно после использования ответа прислать нам сообщение reportbad или reportgood, в зависимости от того, был ли ответ успешно принят или нет. При получении reportgood мы вносим компьютер, который дал ответ на эту капчу, в AllowList. Когда количество компьютеров онлайн в вашем AllowList достигнет 50, каждая вторая капча будет выдаваться компьютеру из этого листа. А когда накопится 500 компьютеров онлайн, то все ваши капчи будут выдаваться только компьютерам из AllowList. Если же наш ответ не сработал и вы прислали reportbad, то компьютер, выдавший этот ответ, добавляется в BlockList вашего аккаунта и не получает ваших капч продолжительное время, а вы получаете возврат средств, потраченных на непринятый ответ (обратите внимание: возвраты за reportbad не делаются, если вы не шлёте reportgood на принятые ответы).
Важно! Если вы решаете reCAPTCHA V3 на разных сайтах, то вам будет лучше создать несколько аккаунтов на rucaptcha.com, т.к. один и тот же компьютер может давать хорошие ответы reCAPTCHA V3 для одного сайта и плохие для другого. Это особенность самой reCAPTCHA V3.
URL для запроса: http://rucaptcha.com/res.php
В теле запроса необходимо передать следующие параметры:
Как использовать полученный токен для прохождения капчи
После получения токена нужно корректно использовать его на сайте. Лучший метод понять, как это сделать, это посмотреть на то, какие запросы отправляются на сайт, когда вы работаете с ним как обычный посетитель: зайдите в DevTools браузера, нажав Ctrl+Shift+I и перейдите во вкладку Сеть\Network.
Токен обычно отправляется в параметрах POST-запроса, это может быть g-recaptcha-response как у reCAPTCHA V2, g-recaptcha-response-100000 или какой-либо другой параметр. Поэтому нужно внимательно просмотреть параметры запроса и найти, как именно передается токен, а затем сформировать аналогичный запрос.
Как узнать “googlekey” и “action”
Как определить необходимое значение score
При тестировании всегда запрашивайте максимальный, score=0.9. После того, как вы убедились, что с максимальным score вы проходите капчу, нужно определить минимально-допустимый score. Пришлите по 10 капч со score = 0.3, 0.5, 0.7 и 0.9 и таким образом определите, на каком score начинают решаться капчи.
Стоимость решения reCAPTCHA V3
| Тип капчи | Значение Score | Стоимость |
|---|---|---|
| reCAPTCHA V3 | score 0.3 | 160 руб за 1000 решений |
Библиотеки для разработчиков
Примеры кода, а также библиотеки и модули для интеграции с нашим API вы можете найти в нашем репозитории на GitHub:
Защита форм от спама «невидимой» Google reCAPTCHA v3 без потери баллов по PageSpeed Insight
Периодически возникал вопрос по защите от ботов различных форм на сайте: регистрация, авторизация, подписка на рассылку, обратная связь, комментирование и т.д.
Стандартная капча — бесполезная, ботами она проходится «на раз», а пользователям создает проблемы.
Оптимальное решение это использовать Google reCAPTCHA v2 или v3. Обе версии Google reCAPTCHA — отличный вариант. Это лучшее, что сейчас доступно на рынке из понятных и надежных решений к тому же бесплатных.
Основная проблема у обеих версий — при подключении значительно снижаются баллы по PageSpeed Insight на 20-30.
Пример reCAPTCHA v2 — требует угадывать картинки
 |
|
Важный для меня момент — не создавать проблемы реальным пользователям, т.к. я сам не большой любитель угадывать транспортные средства в reCAPTCHA v2, поэтому мой выбор v3.
Итак две проблемы Google reCAPTCHA v3, которые необходимо решить:
В лицензионном соглашении Google допускает убрать логотип, скрыв его через CSS.
Взамен под каждой формой написать «Защита от спама reCAPTCHA Конфиденциальность и Условия использования» со ссылками на соответствующие страницы Google.
|
Потеря баллов по Google PageSpeed Insight
При подключении javascript-файла от reCAPTCHA v3, сильно снижаются баллы по Google PageSpeed Insight. Для меня это было критично. Думаю, что это связано с анализом поведения пользователей (подобное снижение происходит при использовании вебвизора в Яндекс.Метрике).
На хорошо оптимизированных ресурсах можно потерять 20-30 баллов. Поэтому использовать её на отдельных страницах, где скорость не важна (например, контактов) можно и без модификаций. Для использования на всём сайте (например, для защиты сквозной формы авторизации или подписки на рассылку) желательно сделать модификацию.
Я придумал вариант инициализировать reCAPTCHA v3 по клику на поля формы. По умолчанию javascript-файл от reCAPTCHA v3 не загружаю, и только если пользователь поставил курсор на одно из полей формы выполняю его загрузку. Скорее всего данный метод снижает точность определения реальных пользователей, но проблем не возникало. Для моих задач данной точности хватает.
Данную методику начал применять сначала на веб-формах 1С-Битрикс, далее для сквозных форм авторизации и подписки на рассылку на сайтах без Битрикса.
Ввиду того, что 1С-Битрикс публичная CMS, расскажу в общих чертах на её примере — про методику и возможный вариант использования. Более тонкую настройку можно сделать под свои потребности.
Использование Google reCAPTCHA v3 в веб-формах 1С-Битрикс
1. Форму вызываем стандартным компонентом bitrix:form и делаем 2 дополнения:
|
2. Добавляем в javascript-файл сайта или компонента инициализацию reCAPTCHA при клике по полям формы (в этом примере я предполагаю, что вы используете jQuery):
3. Добавляем отслеживание клика по кнопке button в форме. Далее внутри, используем пример описанный в документации Google. Он заполняет поле g_recaptcha_response, которое мы будет использовать на последнем шаге для валидации пользователя.
4. Отслеживаем event onBeforeResultAdd в init.php
Перед отправкой результатов формы делаем обращение на сервер Google с вашим
, и значением из hidden поля g_recaptcha_response из формы.
В ответ получаем баллы данного пользователя:
В заключение
Данную методику можно использовать на любых сайтах и формах вне зависимости от CMS. Я привёл общие методики работы, которые можно применять в своём проекте.
Подобным образом можно поступить и с Google reCAPTCHA v2, инициализировать по клику на форме и просить пользователя установить галочку «Я не робот» и отгадать картинки, если потребуется. В данном случае это также сэкономит баллы по PageSpeed Insight и даст пользователю инструмент (выбирать картинки), чтобы доказать, что он не робот. Но как я уже говорил выше для меня самое важное, это не создавать пользователю преград.
Решение reCAPTCHA v3
Мы уже больше трёх недель занимаемся reCAPTCHA v3 и сегодня мы готовы показать Вам наши результаты.
Немного вводной информации о reCAPTCHA v3
Как Вы знаете, reCAPTCHA v3 не просит что-либо решить, а лишь даёт сайту информацию о качестве пользователя, который её проходил. И что особенно важно, у одного пользователя для разных сайтов будет разная оценка. Оценка, которую выдаёт google.com пользователю, находится в пределах от 0.1 до 0.9.
Мы провели серию экспериментов и выяснили, что если пользователь на каком-либо сайте получает 0.1, то с вероятностью в 90% он такую же оценку получит и на остальных сайтах.
Как устроено решение от RuCaptcha.com
Каждому работнику мы даём тестовую капчу и смотрим его score. Когда от заказчика приходит капча с требованием минимального score, то капчу мы выдаём только работникам, score которых подходит под заданный параметр. 80-90% полученных решений в итоге имеют нужный score на том сайте, где Вы проходите reCAPTCHA v3.
Как загрузить капчу reCAPTCHA v3
Загрузить капчу можно вот таким запросом:
Загрузка капчи аналогична загрузке reCAPTCHAV2, но добавляются новые параметры:
version=v3 указывает, что это рекапча третьей версии
action=verify указывает, как именно называется action на проходимой странице
min_score=0.3 указывает, какой минимальный min_score должен будет получить ответ
На время тестирования цену поставили такую же как и на reCAPTCHA v3.
Возврат средств за неработающие токены
Тут всё сложнее. Когда заказчик жалуется на обычную графическую капчу, то мы можем решить её ещё раз и понять, правильно ли она была решена или нет. Когда заказчик жалуется на решение reCAPTCHA v2, то мы можем посчитать статистику по жалобам на работников, вычислить работника, который косячит, и вернуть средства за все решения, которые он предоставил всем заказчикам.
А вот с reCAPTCHA v3 ответы одного работника для двух разных сайтов могут быть разными. Для одного сайта у него рейтинг будет 0.1, а для другого 0.5.
Что мы делаем
Помимо стандартной жалобы reportbad:
которую нужно отправлять, если сайт не принял токен, появляется параметр, указывающий, что ответ работника подошёл reportgood:
При отправке его, мы добавим работника на некоторое время в WhiteList для Вашего аккаунта, и изначально Ваши капчи будут получать работники из Вашего whitelist.
В будущем, скорее всего, мы будем делать возвраты за reportbad только при условии, что заказчик шлёт reportgood. В данный момент возвратов за reportbad нет, но в будущем будут, наверное.
Какой min_score лучше запрашивать?
Распознавание reCAPTCHA V3
Статистика рекапчи
Распознание reCAPTCHA V3
Дождитесь результата. Он должен выглядеть примерно так:
Стоимость решения
Стоимость распознавания очень низка, от RUB 0.16 за одну рекапчу. Для удобства, все цены указывается за распознавание 1000 рекапч, но биллинг в системе происходит отдельно по каждой рекапче. Разные типы рекапч распознаются по разной цене.
Поддерживаемые капчи
Процесс решения обычной капчи заключается в следующем: мы забираем изображение капчи со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения текстовой капчи заключается в следующем: мы забираем текстовый вопрос капчи со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения заключается в следующем: мы забираем изображение капчи со страницы ее размещения и инструкцию, по каким картинкам необходимо кликать и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде набора координат точек на изображении, по которым необходимо кликнуть для решения капчи
Процесс решения Rotate Captcha заключается в следующем: мы забираем изображение капчи со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде значения угла поворота изображения, на который необходимо повернуть изображение для решения капчи
Процесс решения reCAPTCHA V2 заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения reCAPTCHA V2 Callback не отличается от аналогичного процесса решения ReCaptcha V2: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи. Иногда вы не найдете кнопки, отправляющей форму. Вместо нее может использоваться callback-функция. Эта функция выполняется, когда капча распознана. Обычно callback-функция определена в параметре data-callback или как параметр callback у функции grecaptcha.render
Процесс решения невидимой капчи reCAPTCHA V2 Invisible аналогичен распознаванию reCAPTCHA V2 и заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения ReCaptcha Enterprise заключается в следующем: определяем тип reCaptcha, он может быть V2 или V3, после чего мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения KeyCaptcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи
Процесс решения GeeTest Captcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи
Процесс решения заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи ruCaptcha и передаем их в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи
Процесс решения FunCaptcha Arkose Labs заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи
Процесс решения Capy Puzzle Captcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис ruCaptcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи
Процесс решения TikTok Captcha основан на cookies, которые нужно использовать не позднее трех секунд после решения капчи нашими работниками. Необходимо собрать все cookies со страницы, где размещена капча, передать в сервис ruCaptcha, где произойдет решение, а полученный в ответ набор cookies применить перед совершением действия, защищенного капчей на странице размещения капчи
Копирование любой части этого веб-сайта без явного разрешения владельца веб-сайта является незаконным.