Рутрекер для чего нужен
Rutracker.org
RuTracker.org (ранее — Torrents.ru) — крупнейший [1] русскоязычный BitTorrent-трекер, насчитывающий более 10,4 миллиона активных учётных записей. На трекере зарегистрировано и активно более 1,1 миллиона раздач (из которых более 94,6 % — действующих), суммарный размер которых составляет более 1,7 петабайт. [2] Реализован на движке TorrentPier.
Содержание
Регистрация и рейтинг
Регистрация требуется для получения доступа к торрент-файлам. Ранее регистрация новых учётных записей была возможна только в течение одного часа в сутки, а время периодически менялось. В настоящее же время регистрация новых учётных записей открыта с 6:00 до 16:00 по московскому времени.
На трекере у пользователей существует рейтинг, его небольшое отличие от ратио (отношения отданного трафика к скачанному) заключается в том, что он рассчитывается по формуле: (Uвсего+Uна своих+Uбонус)/Dвсего, где Uвсего — общее количество отданного трафика, Dвсего — общее количество скачанного трафика, Uна своих — трафик, отданный на своих раздачах, Uбонус — трафик, отданный на чужих раздачах, будучи единственным сидером. Рейтинг начинает учитываться сразу же, но его перерасчёт происходит раз в сутки, в 00.00 (по московскому времени). Ранее, если он опускался ниже отметки 0,6, то нельзя было делать несколько закачек одновременно, а если ниже 0,3, то нельзя было начинать новые закачки, и пользователь рисковал быть забаненным.
Начиная с 10 апреля 2010 года все ограничения, связанные с низким рейтингом, сняты, так как на трекере введена новая система таймбонусов, которая вызвала множество негативных откликов. Однако ряд пользователей нововведения поддержал. Администрация решила отказаться от ограничений, связанных с рейтингом, по причине того, что он легко накручивается.
Позже было решено вернуть ограничения, связанные с низким рейтингом, но не такие жёсткие, как раньше [3] :
Рейтинговые ограничения начинают действовать после скачивания 5 ГБ. До этого права соответствуют условиям «меньше 0,3». Бан за низкий рейтинг теперь не предусмотрен.
Критика системы таймбонусов
Недобросовестным пользователям достаточно ограничить скорость каждой раздачи до ничтожно низкой, что позволит практически без отдачи трафика считаться сидером на раздачах. Кроме того, если пользователь не полностью скачал раздачу, он не будет числиться в сидерах и не будет получать таймбонусы.
Накрутка рейтинга
С самого основания трекера администрация негативно относилась к пользователям, искусственно увеличивающим свой рейтинг при помощи разного рода программ. В 2007 году был запущен античит (специальный скрипт, обнаруживающий махинации по логам) и образована группа Античитеры. Античитеры банили читеров на основании данных лога. Однако в 2010 году группа античитеров была упразднена, а античит отключен. Размеры трекера настолько увеличились, что деятельность читеров теперь уже не могла сколько-нибудь повлиять на баланс раздач.
Отношение к релизерам
Рутрекер один из немногих трекеров, явно запрещающий создающим раздачи убирать впоследствии релизы с трекера (согласно п. 3.7 правил рутрекера). Согласно концепции трекера все раздачи, сделанные на рутрекере, принадлежат уже не релизеру, а обществу и трекеру.
События
Запрещённые раздачи
Хотя общего списка запрещённых материалов на трекере не ведётся, на трекере запрещено раздавать [источник не указан 228 дней] :
Отношение к последователям
Как и в любом проекте, на «RuTracker.Org» существует ротация, круговорот участников. [14] Некоторые, уйдя по тем или иным причинам, организовали другие ресурсы, которые, однако, не достигли величины исходного.
Команда «RuTracker.org» комментирует этот вопрос следующим образом: «Постоянно кто-то уходит, постоянно приходят новые. Если кто-то из организаторов других трекеров упоминает, что он выходец с „Torrents.ru“ — ну что ж, это его право». [14]
Смена доменного имени трекера
18 февраля 2010 года компанией «Ру-Центр» (NIC.ru) было приостановлено делегирование домена «Torrents.ru». По информации из «Ру-Центра» «делегирование домена „Torrents.ru“ приостановлено на основании постановления следственного отдела по Чертановскому району Прокуратуры города Москвы от 16 февраля 2010 года» [15] [16] Это постановление было вынесено в связи со следствием по делу о распространении контрафактных копий программы AutoCAD компании Autodesk: на время проведения предварительного следствия было решено принять меры для «предотвращения совершения подобных преступлений». [17]
В «Ру-Центр» направлен соответствующий запрос. Так как трекер с момента приостановки делегирования по текущий момент не доступен по старому адресу, то имя изменено на «RuTracker.org».
24 февраля 2010 года директор по маркетингу российского представительства компании Autodesk заявил, что компания не располагала информацией о готовящемся закрытии Torrents.ru и не является инициатором рассмотрения дела. [20]
Ранее представители другой потерпевшей стороны, компании «1С», также сообщили, что не имеют отношения к данному делу. [21] «Autodesk» и «1С» были единственными компаниями, которые были официально объявлены пострадавшими в результате распространения «контрафактных произведений» посредством веб-сайта «Torrents.ru».
Примечания
Ссылки
Трекер • Суперсид • Обмен пирами (Peer exchange, PEX) • Распределённая хеш-таблица (DHT) • Broadcatching • Protocol encryption • DNA • Мультитрекер • Ретрекер • announce • scrape
Умирает ли RuTracker? Анализируем раздачи
Любая деятельность генерирует данные. Чем бы вы ни занимались, у вас наверняка на руках кладезь необработаной полезной информации, ну или хотя бы доступ к его источнику.
Сегодня побеждает тот, кто принимает решения, основываясь на объективных данных. Навыки аналитика как никогда актуальны, а наличие под рукой необходимых для этого инструментов позволяет всегда быть на шаг впереди. Это и является подспорьем появления данной статьи.
У вас есть свой бизнес? Или может… хотя, не важно. Сам процесс добычи данных бесконечен и увлекателен. И даже просто хорошо покопавшись в интернете можно найти себе поле для деятельности.
Вот, что мы имеем сегодня – Неофициальная XML-база раздач сайта RuTracker.ORG. База обновляется раз в полгода и содержит в себе информацию о всех раздачах за историю существования данного торрент-трекера.
Что она может рассказать владельцам рутрекера? А непосредственным пособникам пиратства в интернете? Или обычному юзеру, увлекающемуся аниме, например?
Я не поддерживаю пиратство в интернете и против него. Прибегаю к использованию торрентов только в случае скачивания open source продуктов.
Выбор данной темы вызван исключительно интересом к аналитике и big data.
Стэк – R, Clickhouse, Dataiku
Любая аналитика проходит несколько основных этапов: извлечение данных, их подготовка и изучение данных (визуализация). Для каждого этапа — свой инструмент. Потому сегодняшний стэк:
Ревью: Dataiku работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек. Документация тут.
Удивительно, но на русскоязычных ресурсах и даже на Хабре до сих пор нет ажиотажа или хайпа, если хотите, на тему неотразимости данной платформы. Возьмусь исправить сие недоразумение и прошу поздравить dataiku с почином.
Big Data – big problems
На руках сжатый xml–файл весом 5 Гб. Внутри – база всех раздач сайта rutracker.org, с самого начала его существования (2005 г.) и до ноября 2019 г. А это 15 лет!
Загрузить такой объем в R Studio – ха! Не вариант. Мы люди простые, ресурсы ограничены.
Значит нужна БД, дабы подключаться и делать запросы через R. Поскольку имеем дело с Big Data, выбираем Clickhouse и … не так быстро, у нас все еще xml–файл. Надо распарсить. И опять упираемся в ресурсы.
Тут на сцену выходит наш сегодняшний дебютант. Импортировать и подготовить такой объем в Dataiku DSS не проблема. Но у нас будет ограничение на отображаемый семпл – 10 000 строк. Просмотреть аналитику также можно только в рамках семпла. Но для парсинга нам достаточно, вполне. Лимит на семпл можно и поднять, документация для корректной работы советует не больше 200 000 строк.
Создаем проект, импортируем дату. Пару минут и сырые данные готовы к предобработке.
Получили данные разных форматов. Самые интересные: колонка content — с описанием каждого торрента в разметке форумного движка и несколько колонок в формате массива json.
Удаляем пока колонку content, для сквозного анализа она будет нам в тягость. Но к ней мы еще вернемся – там есть где закопаться.
Создаем recipe — правила предобработки. Из соответствующих колонок достаем информацию о торренте, загружаемом файле и форуме к которому он относится. Благо датайку позволяет нам парсить json массивы.
Форматируем дату регистрации торрента. Отмечу, ни строчки кода еще не написано, и это огромный + для dataiku.
Запускаем наш recipe, ждем полчаса — на выходе все красиво.
Забираем csv с чистой датой и импортируем в Clickhouse.
Простота и фантастическая скорость
Давайте протестируем Clickhouse и охватим наконец все 15 лет существования rutracker-a.
Сколько же торрентов в нашей базе?
Итого 1.5 млн торрентов и 25 млн строк. За 0.3 с! Попробуем запрос посложнее и понаблюдаем за скоростью.
Посмотрим, к примеру, сколько книжек нам доступно для скачивания.
300 тыс — читать не перечитать! Но согласитесь, там есть дубли. Раз уж на то пошло узнаем их суммарный вес.
Итог – мы охватили 25 млн строк менее чем за пол секунды. Приятно, не правда ли?
Добыча данных в R
Продолжим добывать данные уже в R. Подключим библиотеки, в часности DBI (для работы с БД). И установим соединение с Clickhouse.
Все, можно делать запросы и сразу же визуализировать. А благодаря dplyr можем легко обойтись и без переменных.
Так умирают ли торренты? Давайте посмотрим статистику их количества на rutracker.org по годам.
На каждом из графиков заметно просел 2016 год. Важно отметить, что в январе 2016 официально вступило в силу решение Роскомнадзора о блокировке rutracker.org для российских пользователей. Тогда в СМИ сообщалось о незначительном снижении посещаемости сайта, что коррелирует с нашей картиной.
Количество файлов последние года очевидно возрастает, при том что количество торрентов остается практически на одном уровне. Это значит, что на один торрент приходится все больше возможных расширений.
Пролить свет на данную картину нам поможет статистика ТОПа расширений за весь период.
И вот ответ. Очень существенно возросло количество картинок в торрентах. Они и влияют на рост количества файлов.
Давайте погуляем по разделам rutracker-a. Узнаем их суммарный вес и количество торрентов внутри.
Топ увесистых разделов вполне понятен и логичен. А вот антилидеры — Мобильные устройства и Иностранные языки — вероятно на торрентах умирают. Взглянув на распределение количества торрентов, мы в этом убедимся. Тут же, рядом расположился и раздел с Apple.
Уяснив ранее, что торренты с годами не умирают, у вас вероятно возник вопрос: а как же тогда время влияет на понятие торрент-трекера.
Тут мы можем использовать агрегацию по разделам и просмотреть тенденции за
Кино-пиратство на торрентах умирает — это факт. С ним за руку — Apple и мобильные устройства, которых почти и не видно.
При этом в последнее время явно возрастает количество игр и сериалов. Вероятно эта тенденция будет сохраняться.
Отойдя немного в сторону и взглянув на данные под новым углом, можно обнаружить еще пару скелетов Rutracker-a. Посмотрим-ка на тепловую карту ежедневного появления торрентов на rutracker.org.
Сразу бросается в глаза всплеск активности в 2017 году. (ред. В мае того года на GitHub было выложено приложение для борьбы с попытками российских властей замедлять скорость скачивания файлов). А вот блокировка сайта в 2016 году отнюдь не очевидна, т.к существенно не повлияла на активность добавления торрентов.
Закопаться можно и хочется в любую из найденных выше закономерностей. Добывать данные можно до бесконечности. А писать и читать статью – нет.
Давайте еще немного поиграем, вернем весьма информативную колонку content и посмотрим, что нам расскажут данные, к примеру, об аниме за последние 15 лет.
Её величество Dataiku
Создаем новую ветку, оставляем все видео файлы касательно аниме и парсим колонку с описанием торрентов: вытягиваем режиссера, страну, жанр, продолжительность и год выхода анимешки.
Отфильтруем картинки, субтитры и инфо-файлы. Также поднимем лимит отображаемого семпла. Пару кликов – все красиво.
Предлагаю взглянуть на года выхода наших анимешек и в тоже время потрогать удобнейшую функцию датайку – внутриколоночную аналитику.
Резюмирую: на rutracker.org доступно для скачивания аниме, снятое за последние пол века Если быть точнее, уникальных годов выпуска — 60. При этом наиболее продуктивными оказались 2009 — 2014 года.
Платформа также позволяет моментально визуализировать данные. И при этом, напомню, никакого кода. Просто выбираем нужные фильтры.
К примеру, агрегируем Японию и возьмем топ самых продуктивных режиссеров. Получаем тепловую карту их активности простым перетаскиванием переменных.
К чему я веду, dataiku — отличный инструмент для аналитика любого уровня. Импорт, подготовка, анализ и визуализация данных реализуется как кодом (R, Python), так и кликаньем мышки. Но это уже совсем другая история и отличная тема для следующей статьи.
А пока, возвращаясь к RuTracker, констатируем: торренты не умирают, даже в условиях блокировок. Сама же база раздач невероятно емкая и может ответить еще не на один вопрос. Могу пообещать сделать больше аналитики, при проявленном интересе. Предлагайте свои гипотезы в комментариях.
UPD: В ответ на один из комментариев, опишу детальнее этап формирования recipe в dataiku.
Условно, приведенный в данной статье recipe, можно разделить на две части: подготовка данных для анализа в R и подготовка данных об аниме для анализа непосредственно на платформе.
Состоит из блоков парсинга json-колонок и даты.
Блоки однотипны. Задаем колонку из которой нужно достать переменную и ее название.
Парсим и форматируем timestamp указав удобный формат.
Этап в основном состоит из фильтров, нацеленных на отбор только видео файлов, связанных с аниме. Также он содержит блок парсинга колонки content — Descr_Data.
С помощью regexp достаем данные о режиссере, стране, жанре, продолжительности и дате выхода аниме. Отмечу, что синтаксис regexp в dataiku немного специфичный и к нему нужно приловчиться.
Как пользоваться поиском
Материал из WikiTorrents
Содержание
Как пользоваться Поиском?
Опции поиска по Трекеру
Поиск по трекеру ищет только «живые» раздачи, то есть раздачи, на которых зарегистрирован торрент.
На главной странице выбираете вкладку Трекер.
Откроется окно вида:
При поиске доступны следующие опции:
1. В списке разделов можно выбрать те, по которым будет осуществляться поиск.
2. Вы можете упорядочить раздачи по:
3. При выборе любого из вышеуказанных параметров, сортировать можно по:
4. Можно вывести торренты за определенное время. По умолчанию выбрано за все время. Опция доступна только при пустом поисковом запросе.
5. Также можно показывать только:
6. Поиск по нику автора.
7. Данная кнопка позволяет через поисковые сервера Google или Duck искать не только по заголовкам тем, но и по сообщениям первой страницы темы тот запрос, что вы указали в поисковой форме.
8. Скрипт Ссылка на выбранные разделы позволяет получить ссылку (url) на поиск только по разделам, выбранным в данный момент. Её можно скопировать в буфер и далее вставить в адресную строку браузера, добавить в виде ярлыка в «Избранное» браузера, или опубликовать на форуме. Обращайте внимание, что для корректной вставки ссылки в текст на форуме с помощью тэгов [url][/url] необходимо, чтобы вместо каждого f[]= в тексте ссылки стояло f= и номера подразделов, разделенные запятой. Для поиска по всем разделам трекера необходимо ввести f=all или f=-1. Если поиск идёт по нескольким ключевым словам, то их необходимо объединять знаком +.
Опции поиска по Форуму
Поиск по форуму ищет любые темы на форуме.
На главной странице выбираете вкладку Поиск
Откроется окно вида:
1. В поле Форум выбираете разделы, по которым будет осуществляться поиск.
2. Результаты поиска можно показывать в виде:
и также можно упорядочить темы по времени. По умолчанию выбрано по за все время.
3. Можно выбрать показ тем, новых с последнего посещения.
4. Данная кнопка позволяет через поисковый сервер Google искать не только по заголовкам тем, но и по сообщениям первой страницы темы тот запрос, что вы указали в поисковой форме.
Поиск в разделах и подразделах
Иногда возникает ситуация, когда нужно найти какую-либо тему в одном конкретном подразделе, или, при необходимости, во всех подразделах одного общего раздела. В этом случае можно поступить так.
Поиск по одному разделу
Заходите в нужный раздел, в поле [1] (см рисунок) вводите название нужной вам темы, и нажимаете кнопку «по разделу» [2]
Если тема будет найдена, результаты отобразятся в таком виде:
Поиск по всем подразделам из одного общего раздела
Заходите в раздел, в поле [1] (см рисунок выше) вводите название нужной вам темы, и нажимаете кнопку «по подразделам» [3]
Если тема будет найдена, результаты отобразятся в таком виде:
Заметьте, в обоих случаях учитываются словоформы.
Как и в обычном поиске, лучше всего вписывать названия тем на языке оригинала
Вспомогательные элементы поиска
например по запросу: бура*
в результате будут найдены буратино, буран, буравчик и т.д.
Замечание: Перед * должно быть хотя бы 3 символа.
Внимание! Знаки препинания не являются частью слова, а символ «_» является.
Поиск по алфавиту
При упорядочивании по названию темы необходимо учитывать, что для компьютера упорядочивание в алфавитном порядке имеет ряд особенностей. Алфавитный порядок для компьютера следующий:
Как найти пользователя, если он не оставил ни одного сообщения?
Если пользователь не оставил ни одного сообщения, то зная его ник, вы можете посмотреть его профиль, указав в строке его ник:
rutracker.org/forum/profile.php?mode=viewprofile&u=Ник
Внимание! В случае соответствия ника одного пользователя, состоящего из набора цифр, с числовым id другого пользователя, будет открыт профиль, соответствующий числовому id.
Советы по поиску
Например, если вы хотите оказаться на 37 странице, то вместо номера сообщения вы должны подставить 1080, т.е. 36*30.
При расчете номера, учитывайте, что на 1 странице помещается 50 тем.
Как отслеживать новые торренты, темы и сообщения в нужных разделах?
Для тех, кто хочет отслеживать новые темы, новые посты в определенных разделах соответствующих вашим интересам на форуме, предлагаем сделать закладку вида rutracker.org/forum/tracker.php?ff[]=521&f[]=599&f[]=313&f[]=101&tm=-1&o=1
Рассмотрим более подробно параметры и синтаксис составления URL страницы.
Начало всегда: http://rutracker.org/forum/tracker.php
Затем идут параметры и их значения, вида: Имя_параметра = значение
Разделителем команд является &, он же объединяет несколько команд в одну.
Для определения номера интересующей темы кликните правой кнопкой мыши на теме и выберите свойства:
Упорядочить выдачу результатов по критерию – параметр: o
Сортировать выдачу по – параметр: s
Выдавать торренты за интервал – параметр: tm
Показывать только торренты (пара – параметр = значение):
В выдаче показать колонку:
Название содержит слова – параметр: nm
Значение – строка в двойных кавычках
Никнейм того, кто запостил раздачу – параметр: pn
Значение – строка в двойных кавычках
Результат поиска заносим в избранное (для удобства):
Пример: Фильмы за последние 3 дня, упорядоченные по убыванию количества сидеров.
Как добавить поиск по форуму в браузер
Firefox 3
1. Нужно поставить расширение Add to Search Bar (желательно ставить последнюю версию, т.к. старые с новыми версиями Mozilla Firefox не работают), после чего зайти на http://rutracker.org/forum/search.php для поиска по форуму (или http://rutracker.org/forum/tracker.php для поиска по трекеру), правый клик в поле поиска, выбрать в меню пункт «Добавить плагин в панель поиска…«
2. В диалоге подтверждения добавления нажать «ОК». Поиск добавлен.
3. Если поиск по трекеру не отображается, то его надо выбрать из списка:
Нужно поставить расширение Add to Search Bar (желательно ставить последнюю версию, т.к. старые с новыми версиями Mozilla Firefox не работают), после нажимаете на вашу панель поиска и выбираете такой пункт:
→И никаких других процедур после этого делать не надо, поиск добавлен.
Opera 9
1. Зайти на http://rutracker.org/forum/search.php для поиска по форуму (или http://rutracker.org/forum/tracker.php для поиска по трекеру), правый клик в поле поиска, выбрать в меню пункт «Create search«
2. В диалоге подтверждения добавления вести ключевое слово (будет использоваться для вызова быстрого поиска из адресной строки) и нажать «OK«
3. Поиск добавлен в список.
♠ps.♠ При необходимости можно изменить поисковые запросы, для этого нужно зайти в Tools > Preferences > Search, выбрать в списке нужный поисковик и нажать «Edit«.
Internet Explorer 7
1. Кликнуть на «стрелке вниз» рядом с кнопкой поиска, выпадет меню. Выбрать «Find More Providers» («Найти других поставщиков» в русском варианте).
3. В диалоге подтверждения добавления нажать «Add Provider«
4. Всё, поиск добавлен в список.
Вопросы по пользованию поиском можно задать здесь