Разбор строки
Вставьте любую строку User-Agent — из логов, из антидетект-браузера, из настроек скрапера — и посмотрите, что из неё прочитает сайт. Поле заполнено строкой вашего браузера.
Парсер раскладывает User-Agent на то, по чему сервер реально принимает решения: браузер и его версия, движок (Blink, Gecko, WebKit), операционная система, класс устройства — компьютер, телефон, планшет — и признак известного бота. Последнее полезнее, чем кажется: Googlebot, YandexBot и краулеры нейросетей представляются именно здесь, и всё, что под них маскируется, тоже.
Потому что это археология, а не формат. В девяностых серверы выдавали разную вёрстку в зависимости от браузера, и каждый новый браузер приписывал себе токены конкурента, чтобы не получить урезанную страницу. Так Mozilla/5.0 оказалось в начале почти любой настольной строки, Chrome до сих пор носит ненужные ему AppleWebKit и Safari, а Edge дописывает свой Edg/ в самый конец. Убрать это нельзя: код, который на такие подстроки смотрит, всё ещё работает.
Ваша строка подставляется на сервере из заголовка запроса, а не читается скриптом после загрузки, — поэтому поле заполнено сразу и страница работает даже с выключенным JavaScript. Правка и повторный разбор идут уже в браузере: строки, которые вы сюда вставляете для экспериментов, никуда не отправляются.
Меньше, чем принято думать. Браузеры постепенно замораживают содержимое строки и переносят достоверные сведения в клиентские подсказки Sec-CH-UA, которые проставляет сам движок. Поэтому подменённый User-Agent сегодня чаще привлекает внимание, чем отводит: строка сообщает «Safari на Windows», подсказки сообщают «Chrome на Windows», и сигналом становится само расхождение. Свои подсказки можно увидеть среди заголовков запроса, а правдоподобные строки для тестов — собрать генератором, который отсекает несуществующие сочетания.
Строка, которой браузер представляется сайту: кто он, какой версии, на какой системе и на каком устройстве. Отправляется в каждом запросе и нужна серверу, чтобы выбрать подходящий вариант страницы.
Подменить легко, а заметить ещё легче. Сайт сверяет строку с клиентскими подсказками, с поведением движка при отрисовке и с остальными заголовками; противоречие между ними — более сильный сигнал, чем любая конкретная строка.
Не по строке — её копирует кто угодно. Проверять надо адрес: поисковики публикуют свои диапазоны и поддерживают обратную DNS-запись, которая резолвится в их собственный домен. Посмотреть её можно в пробивке IP.
Обычная строка — нет, её делят миллионы людей. Редкая — да: необычная сборка браузера или экзотическая система заметно сужают круг и становятся весомой частью отпечатка.
Включён режим «версия для ПК»: браузер намеренно отправляет настольную строку. Поведение штатное, но оно создаёт ровно то внутреннее противоречие, которое ищут бот-фильтры.
Это отдельные заголовки Sec-CH-UA с теми же сведениями в структурированном виде, которые проставляет сам браузер. Они постепенно вытесняют User-Agent: сервер может запросить только нужные части, а незаметно им противоречить труднее.