Провайдер режет p2p, что с этим делать? Что такое р2р видеонаблюдение

Развитие интернета и его широкое распространение по всему миру позволило обмениваться различной информацией с достаточно большой скоростью на огромном расстоянии. Среди многих традиционных средств обмена информацией, все большую популярность приобретают так называемые P2P сети. Что же они собой представляют?

Само понятие P2P (в переводе: «равный равному») подразумевает непосредственный обмен информацией между равноправными участниками. За сетями, относящимися к этому протоколу, закрепились другие названия: пиринговый, одноранговый.

Отличие пиринговых сетей от файлообменных заключается, прежде всего, в способе передачи информации и иерархии сети. В случае традиционных обменных сетей, к которым мы получаем доступ, заходя на веб-сайт, мы имеем дело с конкретным сервером, на котором хранится интересующая нас информация. Сервер хранит эти данные и передает нужный файл каждому клиенту, который его запросил, целиком, ограничивая максимальную скорость загрузки возможностями своей сети. Соответственно, при удалении файла с сервера, ни один из клиентов не сможет получить его.

В пиринговых сетях все устроено иначе. В них каждый пользователь может выступать как в роли сервера, так и в роли клиента, скачивая и получая данные соответственно. Вся информация хранится на компьютерах пользователей и при установленном разрешении может быть доступна для других клиентов. Один и тот же файл может быть доступен с различных источников, скачивание производится фрагментами, а не целыми частями. Скорость передачи, соответственно тем быстрее, чем больше различных источников делятся с клиентом нужной информацией.

Современные гибридные P2P сети используют сервер не для хранения информации, а для распределения работы сети и объединения клиентов. Большую известность получили такие пиринговые протоколы BitTorrent, eDonkey и Direct Connect.

Протокол BitTorrent является наиболее распространенным способом передачи больших объемов информации. Он позволяет, при наличии специальной программы, запрашивать необходимый файл и скачивать его у сотен и тысяч других клиентов, и в то же время делиться им с другими участниками. Для того чтобы участники сети могли обнаружить и подключиться друг к другу, организуется специальный сервер, называемый торрент-трекером, на котором хранятся идентификаторы файлов, адреса клиентов, а также сайт с информацией о хранящихся данных, с обсуждениями пользователей.

Наиболее популярными BitTorrent клиентами выступают: Deluge, uTorrent, Vuze, Transmission, BitComet, Shareaza и ряд других. Для сетей Direct Connect предназначены клиенты: StrongDC++, FlylinkDC++, ApexDC++.

Таким образом, P2P сети обеспечивают удобный, быстрый и эффективный способ передачи больших объемов данных, привлекая все большее количество участников, предоставляя большие возможности и удобства для обмена информацией.

С развитием интернета мы получили возможность обмениваться разного рода информацией если не мгновенно, то очень быстро. Существует масса способов обменяться файлами с другим пользователем интернета, но один из самых популярных - это P2P сети . Что представляют собой файлообменные P2P сети?

P2P – это сокращение от английского выражения “peer-to-peer” , что можно перевести как «равный - равному». Их еще называют одноранговыми, децентрализованными или пиринговыми сетями.

В чем отличие P2P сети от обычного файлообменника? В случае с файлообменником все данные хранятся на сервере, с которого пользователи могут их скачать . Если файл будет удален с сервера или сервер станет по какой-то причине недоступен, доступа к этой информации у пользователей, ясное дело, больше не будет. К тому же, скорость скачивания ограничена пропускной способностью сервера и нагрузкой на него.

В P2P сети такого сервера нет. Необходимые файлы хранятся на компьютерах пользователей в «расшаренных» папках (папках, открытых для общего доступа). И каждый компьютер может выступать как в роли клиента (скачивать информацию), так и в роли сервера (отдавать информацию) . Файл при этот может качаться фрагментами сразу из нескольких источников. Это позволяет повысить скорость скачивания.

Сейчас чаще всего используются так называемые гибридные (частично децентрализованные) P2P сети . В таких сетях сервер присутствует, но он используется не для хранения информации, а для координации работы сети. Такая сеть объединяет в себе скорость чистой P2P-сети и надежность централизованной сети. На данный момент два самых популярных пиринговых сетевых протокола, используемых в P2P сетях - это BitTorrent и Direct Connect .

P2P сети: протокол BitTorrent

При обмене файлами через протокол BitTorrent скачиваемые файлы передаются частями. Скачивая файл при помощи специальной программы (), вы в то же время отдаете его другим клиентам по принципу «ты мне - я тебе».

Для координации обмена файлами существует специализированный сервер - торрент-трекер . Он нужен для того, чтобы пиры (участники сети) могли найти друг друга. Обычно на трекере хранятся хеш-суммы (идентификаторы файлов), IP-адреса и входящие порты клиентов. Но часто торрент-трекер представляет собой еще и сайт с информацией о распространяемых файлах (описания, метаданные и т.п.) и количестве пиров, статистикой закачек.

На некоторых трекерах ради соблюдения основного принципа P2P сети («ты мне - я тебе») существует система рейтинга . Учитывается соотношение информации, скачанной и отданной пользователем. Если количество скачанной информации значительно превышает количество отданной, рейтинг будет низким, и возможность скачивания для пользователя будет ограничена.

Наиболее популярные торрент-клиенты - это официальный клиент BitTorrent, uTorrent, BitComet, KTorrent, Deluge, Transmission, Vuze (Azureus) и др.

P2P сети: протокол Direct Connect

Протокол Direct Connect чаще используется в локальных сетях . Для скачивания в DC сети вам нужно установить специальный клиент и подключиться к одному или нескольким DC-хабам. В этой P2P сети хаб выполняет роль сервера. Подключившись к нему, вы увидите список подключенных пользователей, сможете осуществлять поиск расшаренных файлов и, естественно, скачивать их.

Поиск файлов осуществляется по , поэтому даже если файл переименован, это никак не влияет на его закачку (в случае с торрентами переименование файла приводит к тому, что система перестает его «видеть»). Файлы, опять-таки, могут качаться сразу из нескольких источников.

Кроме этого, DC хабы обычно имеют общий чат и возможность обмена мгновенными личными сообщениями , так что DC клиент можно использовать не только для обмена файлами, но и для общения с другими пользователями P2P сети.

Наиболее популярные DC клиенты - это различные потомки клиента DC++, в частности, StrongDC++, ApexDC++, FlylinkDC++, GreyLink, EiskaltDC++ и др.

P2P сети - довольно удобный способ обмена файлами. Но, увы, в таких сетях практически невозможно отследить нарушение авторских прав, ведь файлы хранятся у всех и в то же время, по сути, ни у кого. Распространение файлов - исключительно на совести участников P2P сети .

Привет хабр!
Уже год московский интернет-провайдер замыкающий пятерку крупнейших провайдеров Москвы (по оценкам AC&M-Consulting, ему принадлежит примерно 6% московского рынка ШПД),
зарезает исходящий - upload трафик по протоколу p2p.

Что? Есть? Где?

Суть зарезания:
До конца июля:

• Полная отдача по тарифному плану происходит только ночью, с 3 до 9 утра;
• С 9 утра отдача режется на фиксированном уровне, плавно понижающемся примерно с 300 КБ/с в 9 утра до 100 КБ/с вечером.
• В вечерний час пик, с 20:00 (в выходные - с 18:00), раздача фиксируется и вовсе на уровне ~50 КБ/с, так продолжается до часа ночи;
• С 1 до 3 ночи планка приподнимается обратно до уровня 100–300 КБ/с, но снимается шейпер лишь в 3 часа.

С конца июля:
топик на torrents.ru

Официальная позиция компании:

В связи с активным развитием QWERTY и нарастающими потребностями абонентов в пользовании услуг домашнего интернета, в последнее время наблюдается загрузка магистральных каналов, что может привести к ухудшению качества предоставляемых услуг всем пользователям сети. Выявлено, что основную нагрузку на каналы оказывает исходящий р2р-трафик , рост которого существенно влияет на общее комфортное времяпрепровождение в сети Интернет.
Поскольку основной задачей для нас является поддержка и улучшение качества предоставляемых услуг всем нашим абонентам, мы приоритезируем трафик сети в пиковые часы работы. При этом скорость доступа в Интернет и в локальную сеть для всех абонентов останется без изменений. Надеемся на ваше понимание возникшей ситуации. Нашими инженерами и сотрудниками компании рассматриваются другие пути решения.

топик на форуме QWERTY

По непроверенным данным некоторых источников: в ближайшее время компания не планирует отменять приоритезацию p2p трафика.

Способы решения проблемы:

Самый простой способ: Подключить себе другого провайдера или вторую линию. И забыть про резалку p2p как страшный сон.
Но меня такой выход, не привлекает, так как я доволен QWERTY и не вижу смысла подключать себе вторую линию.

Ну а сейчас я перехожу к самому интересному.

Поднятие VPN

Про бесплатное VPN туннелирование я прочитал здесь, же на хабре. В топике всё написано, от себя добавлю лишь ссылку на настройки (для Windows), VPN от сервиса itshidden .

Замеры проводились на стабильной версии µTorrent 1.8.4, другие закачки были отключены.

Для начала, посмотрим на обычную скорость скачивания и отдачи в сети QWERTY:

Итак, у меня поднято VPN туннелирование , давайте посмотрим на скорость скачивания и отдачи:

Итог:
Скорость отдачи при VPN, действительно возрастает, но вот скорость скачивания сильно падает, поэтому лучше всего включать VPN только для отдачи, после скачивания нужного контента.

µTorrent 2.0 beta c включенным µTP

Про него писали на хабре в релизе 2 версии будет включен по умолчанию протокол µTP.
К радости оборудование QWERTY на данный момент не может зарезать протокол µTP. Но существует другая проблема:
В бета-версиях некорректно работает скачивание, например у меня, на версии 1.8.4 клиент качает со скоростью 800-1000 Кб/c.
В бете версии же скорость скачки не превышает 400-500 Кб/c. При этом с включенным µTP отдача волнообразная, двигается скачками, однако достигает 500-600 Кб/c. Игры с параметром bt.transp_disposition результатов пока не дали.
Надеюсь что в релизной версии 2.0 данный косяк поправят, а оборудование провайдера не сможет зарезать протокол µTP. Стоит заметить, что при массовой миграции абонентов на 2 версию, шейпер не будет так чувствоваться, и возможна перегрузка каналов.

Итог:
Очень многообещающий релиз, тогда зарезание практически не будет ощущаться.
Пользоваться можно, однако придется смирится с заниженной скоростью скачивания, хотя все таки надеюсь что в релизной версии эту проблему поправят.

Общие выводы

Выход есть из любой ситуации, было бы желание.

Зарезалку p2p QWERTY можно обойти!

На сегодняшний момент, мне удобнее использовать VPN туннелирование. Оно включается и отключается одним кликом мыши, что удобно.
Если технически QWERTY не найдет выход для зарезания µTP, а релизная версия µTorrent 2.0 выйдет без нынешних косяков, то я откажусь от VPN.
Это будет интересно. Интересно потому, что:
Во-первых, интересен ответ QWERTY, какие меры предпримет провайдер. Я надеюсь я освещу ответ QWERTY нам, торрентщикам.
Во-вторых, возможно µTP позволит обойти шейперы не только у QWERTY, но и у других зарубежных провайдеров. И тогда p2p ждёт рассвет. :)

Зачем интернет-трекеры, когда есть локальный ?

Следующую часть этого топика я хотел бы посвятить моим размышлениям и размышлениям моего друга на тему локального торрент-трекера.

Не секрет что у QWERTY есть свой локальный торрент-трекер . На данный момент там зарегистрировано 15.000 пользователей и создано более 35 000 торрентов. Это новинки, фильмы и прочий контент. Конечно до torrents.ru ему далеко, но для локальной сети трекер достаточно крупный.

Мы с другом cheget подумали и сформулировали несколько плюсов и минусов локального трекера.

Стоит отметить, что:
На локальном трекере не действуют никакие ограничения на отдачу.

Вступление:

Не для кого не секрет что p2p сети в данный момент занимают львиную долю всего сетевого трафика. И в современных условиях практически каждый первый пользователь, который использует услуги провайдера по обеспечению доступа к всемирной паутине, практически каждодневно что-то закачивает либо скачивает по сети p2p (посредством торрент трекеров с помощью торрент клиентов).
Структуру сети любого провайдера в Москве составляет локальная сеть, объединяющая в себе всех конечных пользователей провайдера, и соответственно выход всей этой сети в интернет. Провайдер предоставляет в пользование внутреннюю сеть и доступ в интернет с двумя разными скоростями, естественно внутри сетевая скорость значительно выше скорости трафика внешней (интернет). Поэтому логично сделать популярный сервис p2p на внутри сетевой скорости, однако с доступом к нему только пользователей сети провайдера, с блокировкой доступа внешним пирам. Это большой плюс, так как качать со скоростью 11 мегабит (внутри сетевая) и со скоростью 1 мегабит (внешняя скорость скачки в интернет) при одном и том же тарифе - это огромная разница.

Плюсы:

Итак самый главный плюс локальных трекеров это естественно скорость.

Второе это постоянная доступность пиров (сидеров) на внутри сетевой скорости. Из-за популярности внутри сетевого трекера - всегда найдется человек внутри сети, у кого можно скачать контент по раздаче. Второй плюс - это быстрая стопроцентная высокоскоростная скачка. Внутри сети всегда найдется какое-то количество сидеров, включая непопулярные раздачи. Как пример на трекере Кверти даже на раздачах, которым год и более, всегда есть один, два или три сидера, у которых ты можешь скачать всё с той же внутри сетевой скоростью, то есть очень быстро (скорость практически не зависит от количества сидеров, а зависит от ограничений, которые эти сидеры поставили сами, а так как на любой раздаче всегда есть один-два человека, то велика вероятность что хотя бы один из них раздает по максимальной скорости). Ну и третье это естественно - хорошая как правило поддержка компании (провайдера) трекера. Здесь и возможность размещения на надежных серверах компании, поддержка компанией перспектив развития трекера, защита интересов трекера силами компании.

Еще один плюс это - хорошие перспективы и возможности роста рейтинга из-за очень высокой скорости скачки и отдачи (при урезании трафика значимость этого плюса падает значительно). Ну и последнее - это различные внутри сетевые бонусы, которые очень хорошо позволяют контролировать рейтинг личный. Как пример - бонус сидирования, когда даже просто при включенном клиенте и при низкой отдаче - рейтинг хоть и медленно, но всё равно растет.

Минусы:

Первое и самое главное - не возможность зайти и скачать что-то, находясь вне диапазона айпи адресов провайдера (например с работы, либо с другого места жительства, либо с компьютера, подключенного к сети посредством другого провайдера).

Второе - прямая зависимость качества работы трекера, доступности, от технического состояния внутренней сети, а так же сервера расположения трекера. То есть при какой-то более или менее серьезной аварии у провайдера, трекер может быть недоступен какое-то время, а так же те пиры, которые попадают под диапазон аварии.

Третье и пожалуй самое серьезное, что непосредственно касается основной темы статьи - урезание трафика провайдером. Входящий трафик остается без изменения, а исходящий значительно ниже. Еще один минус - всё же количество аплоадеров и пиров значительно ниже, нежели на трекере внешней сети. Отсюда количество контента разного как правило значительно меньше. Однако этот минус теряет свою значимость в том случае, если трекер считается трекером провайдера официальным, внутри сетевым (если просто локальный частный трекер, то минус этот актуален).

Итог:

При отсутствии урезания p2p трафика компанией, локальные трекеры остаются самыми популярными, удобными и высокоскоростными, и внешние трекеры, не привязанные к внутренней сети провайдера значительно уступают внутренним по этим критериям. В основном это связано со скоростью конечно.
Однако с серьезным урезанием трафика, значимость этого сильно падает. В последнее время популярность получило такое явление как retracker. Однако по всем параметрам и скорости это явление значительно уступает всё же внутри сетевым трекерам, особенно официальным трекерам провайдера. Отсюда поиск способов борьбы с урезанием трафика имеет ключевую роль в поддержке популярности внутри сетевых трекеров. Так как практика и время показывает, что основная критика локальных трекеров в пользу более обширных внешних трекеров построена именно на урезании трафика провайдером.

Эпилог:

Итак, я в своем топике пришел к главному выводу - при условиях жесткого зарезания трафика p2p, самый лучший вариант это пользоваться локальными трекерами внутри сети провайдера. Так как при очень высоких скоростях урезание заметно не так сильно, а так же при бонусах, которые позволяют грамотно контролировать свой рейтинг на трекере. К сожалению внутрисетевых трекеров довольно мало хороших и довольно крупных, именно поэтому я и написал так сказать свое расследование с целью найти удобные способы обхода шейпера для трекеров внешней сети.

Надеюсь мой скромный первый топик кому-то пригодится и будет полезным.

Спасибо за прочтение:)

UPD: Хотел бы перенести эту запись в тематический блог Peer-to-Peer но увы, не хватает кармы.
UPD: 2 Спасибо перенёс. :)