POP3 и IMAP: история почтовых протоколов и сбор писем по IMAP в Яндекс.Почте. Преимущества по сравнению с POP3. Порты электронной почты
Уже некоторое время IMAP работает в Почте Mail.Ru в полную силу, и я готов рассказать о том, с какими проблемами мы столкнулись при его запуске. Часть из них была связана с особенностями самого протокола и с его историей, другие были обусловлены спецификой взаимодействия IMAP с нашим хранилищем. Отдельная категория трудностей вызвана многообразием почтовых клиентов.
За подробностями - добро пожаловать под кат.
Нынешний запуск IMAP - наш второй подход к снаряду. В прошлый раз мы взяли сервер Dovecot и попробовали заточить его под себя. Результат нас не устроил: с нашими нагрузками и нашей инфраструктурой он сочетался плохо. В этот раз мы решили выбрать другой путь, и написали собственное решение.
IMAP мы запустили в мае, но анонсировали только в июне. Фактически, майская аудитория - это наши сотрудники и те пользователи, у которых клиенты автоматически определили наличие IMAP в нашей Почте и подключили к нему новые добавленные аккаунты.
Трудности, специфичные для протокола IMAP
1. Громоздкость самого протокола
Первая версия протокола IMAP появилась в 1986 году. В данный момент актуален стандарт IMAP версии 4rev1, который был обновлен в 2003 году. За такой долгий срок стандарт существенно разросся: его текущая версия насчитывает порядка 200 страниц.Сейчас многие моменты, описанные в стандарте, устарели - в сегодняшних условиях они уже не являются необходимостью. Например, в протоколе предусмотрен возврат количества строк и MD5-суммы частей письма - функционал, который фактически не используется в современных клиентах.
Кроме того, существует множество опциональных расширений протокола. Некоторые из них, по сути, являются необходимыми для удобной работы с почтовым ящиком.
Чтобы побороть историческое наследие, нам пришлось реализовать несколько расширений. Одно из них - UID+: когда мы копируем или добавляем письмо, мы возвращаем ID нового письма, которое появилось на сервере в результате копирования или добавления. Это позволяет нам сэкономить на ресурсоемкой операции поиска, которую приходилось проводить клиенту, чтобы распознать, какое именно письмо было добавлено.
2. Отсутствие стандартного паттерна работы с сервером
IMAP предоставляет множество способов решить одну и ту же задачу и, как следствие, практически у всех клиентов паттерн работы различен. Также важно, что паттерны работы существенно отличаются от того, как работает веб-почта или POP3.
Более половины приходится на долю клиентов под устройства Apple: причина в том, что у них хорошо работает автоопределение IMAP. Outloook же, напротив, по умолчанию работает по POP3, и настраивать IMAP нужно руками.
Здесь можно выделить 2 основные категории: десктопные клиенты, которые сразу запрашивают информацию обо всех письмах в ящике или папке, и мобильные клиенты, которые изначально запрашивают информацию только о самых новых письмах. Далее нам оставалось изучить запросы, которые они делают, чтобы обновить состояние, как именно они вытягивают информацию о письмах.
Почему для нас это было необходимым шагом? При скромных нагрузках (например, если сервер обслуживает корпоративную почту небольшой компании) вопрос оптимальности стоит не так остро. Однако при наших объемах оптимальность становится критичной: следовательно, нам нужно было изучить паттерны работы всего зоопарка почтовых клиентов, обращающихся к хранилищу.
3. Количество одновременных сессий
По стандарту, минимальный таймаут сервера - 30 минут. Кроме того, один клиент может держать сразу несколько соединений к серверу (в протоколе не указано максимальное количество разрешенных соединений). Фактически, в нашем масштабе, это означает, что один сервер должен оптимально работать с десятками тысяч одновременных соединений. При работе в синхронном режиме такое количество соединений просто поглотило бы все ресурсы.Для решения этой проблемы я написал библиотеку для асинхронной работы, построенную на базе edge-triggered epoll. Изначально я ставил перед собой задачу сделать библиотеку, при помощи которой можно было бы в будущем за пару дней написать свой асинхронный сервер для решения других задач, помимо IMAP; в результате практически весь код можно использовать для написания других сервисов.
4. Невозможность однозначно идентифицировать клиент
Наш сервер поддерживает расширение ID, которое позволяет нам идентифицировать примерно половину клиентов. К сожалению, другая половина об этом расширении не знает (из популярных можно назвать, например, Outlook).Понимание того, с каким клиентом мы работаем, позволяет обойти его характерные баги, а также предсказать, каким будет паттерн работы в рамках данной сессии и, соответственно, оптимизировать работу. Для нас это критично, поэтому, если клиент не называет ID, мы стараемся идентифицировать его другими путями (в случае Outlook - по тегам).
5. Отсутствие команды перемещения сообщений
В клиентах перемещение реализовано через копирование+удаление. Нам, разумеется, хочется, чтобы при этом копия письма помещалась в нужную папку, а оригинал удалялся и не захламлял корзину. С другой стороны, иногда сам пользователь копирует письмо в новую папку, а затем удаляет оригинал: в этом случае удаленное письмо должно помещаться в корзину.Чтобы различать эти два кейса, после копирования мы в этой же сессии помечаем письмо специальным внутренним флажком. Когда сам пользователь копирует письмо и удаляет оригинал, клиент, как правило, обновляет список писем. При обновлении флажок автоматически сбрасывается, а удаленное письмо оказывается в корзине. Если же письмо (в рамках перемещения) удаляет клиент, обновления не происходит, и письмо, помеченное флажком, удаляется окончательно.
Трудности, связанные с адаптацией текущего хранилища писем и индексов
1. Идентификация сообщений
Для работы по IMAP необходимо было поддержать два вида идентификаторов сообщений: порядковый номер, который может отличаться от сессии к сессии, а также уникальный номер, который сохраняется на все время жизни сообщения. Оба идентификатора должны удовлетворять довольно строгим критериям, которые не соответствовали схеме, используемой веб-почтой и POP3-сервером.Наиболее рациональным оказывается держать в оперативной памяти весь набор порядковых номеров, их соответствие внутренним идентификаторам, а также IMAP ID. При открытии папки мы вытягиваем из хранилища список всех писем, наши внутренние идентификаторы, IMAP ID, флажки и размер сообщения - все то, что хочется отдавать без лишних запросов.
Обо всех изменениях порядкового номера в рамках одной сессии мы должны оповещать клиент. Согласно стандарту, последовательность IMAP ID должна соответствовать последовательности порядковых номеров. Порядковые номера мы получим, отсортировав список писем по уникальным номерам. Когда клиент выдает новую команду, мы заново открываем соединение с хранилищем, запрашиваем время последних изменений, которые были сделаны в ящике. Если изменений со времени последнего такого запроса не было, то мы просто возвращаем ответ на команду. В ином случае мы заново запрашиваем список сообщений в папке и сравниваем с аналогичным списком клиента. Далее мы либо возвращаем информацию об изменениях, либо, если протокол не позволяет этого сделать сразу, делаем у себя пометку о том, что письмо удалено, и ждем подходящего момента, чтобы сообщить об этом клиенту.
Из-за такой специфики - письма уже нет в ящике, но клиент об этом еще не узнал - клиент может запросить данные об уже удаленном письме. Более того, некоторые из них испытывали серьезные проблемы, если ответа на их запрос не поступало. Чтобы клиент не ломался, мы в ответ на подобные запросы возвращаем заглушки. Клиент получает нужную ему для нормальной работы информацию, а уже при следующем обновлении списка писем (оно, как правило, происходит сразу же) удаляет из него сообщение.
2. Необходимость оптимально возвращать информацию о MIME-структуре письма
Практически все клиенты запрашивают информацию о структуре письма. Часто в рамках первой сессии они запрашивают такую информацию сразу обо всех письмах в папке. Парсить письмо на каждый такой запрос было бы крайне неоптимально.Вместо этого мы сделали кэш MIME-структур. Наличие кэша помогло нам побороть сразу несколько трудностей, связанных с особенностями IMAP - в частности, отсутствие стандартного паттерна работы с сервером: поскольку часть информации хранится в кэше, это помогает нивелировать нагрузку, связанную с разными паттернами работы клиентов.
Сейчас мы кэшируем до 50 сообщений. Почему не 2-3? Дело в том, что некоторые клиенты сначала запрашивают структуру письма, а потом тело, причем сразу для нескольких сообщений; максимальное число писем в такой «пачке» обычно составляет 50 штук.
3. Оптимальная отдача частей письма
Часто клиенты просят лишь текстовые части письма, которые могут находиться в конце самого сообщения. Для отображения сниппетов клиенты могут просить текстовые части сразу у 50-200 писем. Читать весь файл сообщения целиком (и обрабатывать 10 МБ письма для того, чтобы отдать 10 КБ текста) при этом не хочется; использовать индекс для определения позиции части внутри файла при каждом запросе также было бы накладно. В этой ситуации также спасает кэш структуры письма.Преимущества такого подхода особенно наглядны тогда, когда клиент подгружает сниппеты для нескольких десятков писем: если бы мы не использовали кэш структуры, то для этого приходилось бы просмотреть много мегабайт и пожертвовать скоростью.
Для экономии места в наших хранилищах base64-части хранятся в декодированном виде внутри письма: при работе с веб-почтой это позволяет отдавать аттачи без лишнего перекодирования. Нужно было сделать схему отдачи частей с учетом этого перекодирования. Мы написали потоковое перекодирование на IMAP-сервере. Здесь также помог кэш - благодаря ему мы без перечитывания структуры можем понять, в каком виде (бинарном или нет) хранится тот или иной фрагмент.
4. Особенности работы некоторых клиентов
Некоторые клиенты не полностью соответствуют стандарту RFC: например, стандартные клиенты Android версий 2.2 - 2.3 не могут корректно отображать письма без возврата некоторых необязательных полей. Основная трудность заключалась в том, чтобы определить, какие именно поля каждый из таких клиентов считает для себя обязательными: приходилось решать это методом перебора.Выше уже упоминалось о том, что у клиентов могут быть различные подходы к удалению писем: одни перемещают их в корзину, другие - удаляют сразу и безвозвратно. При этом некоторые клиенты не понимают стандартное расширение XLIST, которое мы поддерживаем, позволяющее определить, какая именно папка является корзиной. Вместо этого они используют в качестве корзины свою папку (так себя ведет, например, Sparrow).
Интересно ведет себя Outlook: по команде удаления письма не перемещаются в корзину, а помечаются как перечеркнутые, и затем удаляются позже. Выяснилось, что для пользователей это выглядит, как баг - многие просто не понимают, что делать дальше и как добиться того, чтобы клиент вел себя привычным образом и письма оказались в корзине.
В условиях такого разнообразия нам также было необходимо эмпирически понять, как ведет себя каждый из клиентов, и подстроиться под эти варианты - причем таким образом, чтобы пользователь мог быть уверен: независимо от того, в каком клиенте он работает, почта отреагирует на его действия привычно и предсказуемо (в данном случае - удаленное письмо окажется к корзине). Решали мы это, пробуя различные ответы через тестовый прокси-сервер и отслеживая реакцию клиента на каждый из вариантов.
То, что мы вынесли для себя: IMAP - достаточно «развесистая» штука, с множеством исторических особенностей, нажитых за 26 лет, которые умножаются на разнообразие почтовых клиентов. При наших нагрузках это выливается в то, что брать готовое решение и пытаться заточить его под себя нерационально: в лучшем случае объем работы будет таким же, как при самостоятельной разработке решения. Этим путем мы и пошли:)
Виктор Стародуб,
команда Почты Mail.ru
Протокол IMAP (Internet Mail Access Protocol) описывается в RFC 2060.
В отличии от POP3, который просто скачивает входящие письма и сохраняет их локально, с IMAP вы работаете с почтой непосредственно на сервере
Как и POP3 , протокол IMAP использует концепцию клиент-сервер с набором команд. С помощью команд осуществляется передача сообщений электронной почты от сервера клиенту. Клиент устанавливает для этой цели TCP-соединение с портом 143 на сервере. Далее сервер должен ответить специальным сообщением-приглашением.
1 ". 5 * OK shadrach.smallorg.org IMAP4revl V12.250 server ready 6 a001 LOGOUT 7 * BYE shadrach.smallorg.org IMAP4rev1 server terminating connection 8 a001 OK LOGOUT completed 9 Connection closed by foreign host. 10 $
В строке 1 показана команда на открытие сеанса с помощью telnet с портом 143 (порт IMAP по умолчанию). Строка 5 отображает приглашение, выданное сервером IMAP. В строке 6 клиентом задана команда закончить сеанс с сервером. Затем сервер посылает сообщение об окончании сеанса (строка 7) и закрывает соединение с клиентом.
Каждая команда, выдаваемая клиентом, предваряется уникальным идентификатором. Сервер может затем использовать этот идентификатор в своих ответах, что позволяет клиенту определить, к какой команде относится ответ сервера. Это особенно важно при выполнении сервером нескольких команд за сеанс. Идентификатор обычно представляет собой короткую строку алфавитно-цифровых символов, которая генерируется клиентом. Так, в строке 6 листинга 7.1 клиентом был выбран идентификатор a001. Если бы клиенту потребовалось задавать и другие команды, то следующим идентификатором был бы a002 и т.д. Часто для упрощения идентификаторы команд в течение сеанса IMAP просто последовательно увеличивают один из своих разрядов.
После установления соединения клиент находится в состоянии ожидания проверки подлинности, так как для выполнения каких-либо операций со своим почтовым ящиком на сервере он должен идентифицировать себя. После идентификации на сервере клиент может использовать команды IMAP для управления сообщениями на сервере. Протоколом IMAP предусмотрена возможность поддержки пользователем нескольких почтовых ящиков на одном сервере. При этом клиент может читать, отправлять и удалять сообщения в любом из принадлежащих ему почтовых ящиков.
Методы проверки подлинности пользователя в IMAP
Так же как и в протоколе POP3, в IMAP имеется несколько методов проверки подлинности клиента. Некоторые из них обеспечивают больший уровень безопасности, по сравнению с другими. В отличие от клиентов POP3, клиенты IMAP часто проводят довольно длительные сеансы с сервером при обработке сообщений. Таким образом, идентификатор пользователя и пароль не передаются по сети несколько раз в час, как это обычно происходит при работе по протоколу POP3.
Команда LOGIN
Команда LOGIN позволяет клиенту при регистрации на сервере IMAP использовать идентификатор пользователя и пароль в обычном текстовом виде.
Команда AUTHENTICATE
С помощью команды AUTHENTICATE клиент может использовать при регистрации на сервере IMAP альтернативные методы проверки подлинности. Индивидуальная проверка подлинности пользователей не является обязательной и поддерживается не всеми серверами IMAP. К тому же реализации такой проверки могут различаться в зависимости от сервера. Когда клиент выдает команду AUTHENTICATE, сервер отвечает на нее строкой вызова в кодировке base64. Далее в обязанности клиента входит ответ на вызов сервера о проверке подлинности, также закодированный base64. Если на сервере не поддерживается метод проверки подлинности, предложенный клиентом, он включает в свой ответ отрицательное слово NO. После этого клиент должен продолжить переговоры по согласованию метода проверки подлинности. Если все попытки определить метод проверки подлинности потерпели неудачу, то клиент предпринимает попытку зарегистрироваться на сервере посредством команды LOGIN. Пример сеанса с применением AUTHENTICATE:
1 [ riley@ shadrach riley] $ telnet localhost 143 2 Trying 127.0.0.1... 3 Connected to localhost. 4 Escape character is "^]" . 5 * OK localhost IMAP4rev1 v12.250 server ready 6 a1 AUTHENTICATE KERBEROS_V4 7 a1 NO AUTHENTICATE KERBEROS_V4 failed 8 a2 AUTHENTICATE GSSAPI 9 a2 NO AUTHENTICATE GSSAPI failed 10 a3 AUTHENTICATE LOGIN 11 + VXNlciBOYU1lAA == 12 * 13 a3 NO AUTHENTICATE LOGIN failed 14 a4 LOGIN riley firetruck 15 a4 OK LOGIN completed 16 a5 LOGOUT 17 * BYE shadrach.smallorg.org IMAP4rev1 server terminating connection 18 a5 OK LOGOUT completed 19 connection closed by foreign host. 20 [ riley@ shadrach riley] $В строках 6–9 показаны попытки клиента согласовать с сервером IMAP метод проверки подлинности. Как видите, все они не увенчались успехом. А в строке 10 показано, что метод проверки, приемлемый и для клиента, и для сервера, найден. Отвечая, сервер в строке 11 выдает кодированную строку с вызовом в кодировке base64. Однако в строке 12 клиент отвергает попытку регистрации и возобновляет ее лишь в строке 14 с помощью команды LOGIN.
Клиентская часть протокола IMAP
После регистрации на сервере IMAP клиент может приступить к манипулированию сообщениями. Протокол IMAP предлагает довольном много команд для чтения, перемещения и удаления почтовых сообщений в почтовых ящиках на сервере. Помните, что протокол IMAP предполагает хранение всех сообщений на сервере. Загрузка почтовых сообщений на локальный компьютер производится лишь для отображения. При этом они не перемещаются и не копируются на локальный ПК клиента.
Почтовый ящик для клиента по умолчанию носит название INBOX. Все новые сообщения ложатся именно в INBOX. Клиент имеет возможность создавать новые почтовые ящики (иногда называемые в программах-клиентах для работы с электронной почтой папками). Туда с целью упорядочения он может перемещать сообщения из папки INBOX.
Каждому сообщению назначается уникальный идентификатор (UID), по которому они идентифицируются в почтовом ящике. Метка UID сохраняется в течение всех сеансов IMAP для того, чтобы клиентское программное обеспечение могло правильно идентифицировать сообщения в почтовом ящике. Каждому почтовому ящику соответствует уникальный идентификатор достоверности (UIDVALIDITY). Метка UIDVALIDITY должна присутствовать во время всех сеансов IMAP, только в том случае, если идентификаторы сообщений в ящике оставались неизменными. Если в почтовом ящике имеются сообщения с различными идентификаторами, то значение UIDVALIDITY при следующем сеансе должно увеличиться. Это позволяет клиентам быстро определять, появились ли в почтовом ящике новые сообщения с момента последнего к нему обращения.
Каждое сообщение снабжается флагом, который отображает его статус. Флаг может быть постоянным или задаваться на время сеанса. Постоянные флаги могут изменяться клиентом и сохраняться вне зависимости от сеансов. Флаги, назначаемые на время сеанса, действительны только на время текущего сеанса IMAP. В табл. 7.1 представлены варианты флагов почтовых сообщений.
Флаги почтового сообщения IMAP
Флаг Описание \Seen Сообщение прочитано \Answered На сообщение послан ответ \Flagged Сообщение принудительно отмечено \Deleted Сообщение удалено \Draft Сообщение не окончено (черновик) \Recent Новое сообщение в почтовом ящике
Почтовому сообщению может соответствовать 0 флагов или несколько флагов. Информация о флагах передается клиенту вместе с самим сообщением. В обязанности клиента входит интерпретация флагов соответствующим образом.
В следующем разделе описываются команды IMAP, которые клиент может задавать серверу.
Хотя, согласно RFC , команды IMAP набираются заглавными буквами, большинство серверов IMAP воспринимает команды, заданные как заглавными, так и прописными буквами.
Сервер должен отвечать соответствующим образом на заданные команды или отвечать отрицательно, если команда задана неправильно либо не поддерживается.
Команда SELECT
Команда SELECT используется, лишь когда почтовый ящик активен. По умолчанию, пока клиент не зарегистрирован в системе, ни один из принадлежащих ему почтовых ящиков не является выбранным. Далее клиент должен выбрать почтовый ящик, с которым он собирается работать. Обычно первый ящик, который выбирается клиентом, - это ящик INBOX, куда помещаются новые сообщения. Формат команды SELECT следующий:
SELECT mailbox
Здесь mailbox - это название почтового ящика, к которому обращается клиент. Во время одного сеанса IMAP может быть активен только один почтовый ящик. Если ящик существует и у клиента имеется соответствующий доступ к нему, то сервер дает многострочный ответ, где описывается состояние почтового ящика.
Команда CREATE
Команда CREATE используется для создания нового почтового ящика на сервере IMAP. Имя и местоположение новых почтовых ящиков определяются в соответствии с общими спецификациями ОС Linux. В рабочем каталоге пользователя создается новый почтовый ящик с именем, но без задания местоположения, так как оно известно каталогу $HOME клиента. Например, если рабочий каталог клиента находится в /home/riley и клиент задает команду CREATE для создания нового почтового ящика stuff/junk, то вновь созданный ящик на почтовом сервере под управлением ОС Linux будет иметь путь /home/riley/stuff/junk. В этом примере вы видите, как используется знак разделителя /. Однако это не является общим для всех серверов IMAP.
Некоторые программы IMAP-клиенты используют термин папка по отношению к новым почтовым ящикам. Многие из них позволяют пользователям также создавать их с определенным уровнем вложенности, так что будьте осторожны при создании новых папок (почтовых ящиков). С ростом длины пути к почтовому ящику становится все трудней обслуживать его.
Команда DELETE
Команда DELETE применяется к почтовым ящикам, а не к сообщениям. Сервер IMAP при получении этой команды попытается удалить почтовый ящик с именем, указанным в качестве аргумента команды. В аргументе команды можно использовать стандартное описание путей ОС Linux, со знаком разделителя /, если только они не находятся в каталоге $HOME. Сообщения из удаленных почтовых ящиков восстановлению не подлежат и теряются вместе с ящиками.
Команда RENAME
С помощью команды RENAME клиент может изменить имя почтового ящика. При этом возможно применение двух параметров. Первый параметр - собственно имя почтового ящика, который требуется переименовать. И второй параметр - новое имя почтового ящика.
Переименование не влияет на содержимое почтового ящика.
Команда LIST
Команда LIST используется для получения списка всех почтовых ящиков клиента. С ней используются два параметра. Формат команды LIST приведен ниже:
LIST reference mailbox
Здесь reference - каталог, где находятся почтовые ящики. Если задается пустая строка вместо этого параметра (""), то почтовые ящики находятся в рабочем каталоге пользователя $HOME. Второй параметр mailbox является именем почтового ящика, который нужно просмотреть. Здесь допускается использование специальных символов, так же, как и при получении обычного списка каталогов, например группового символа (*). Если именем почтового ящика задана пустая строка (""), то сервер будет возвращать в качестве ответа иерархический разделитель (для Linux /) и имя корневого параметра.
Команда LSUB
Команда LSUB используется для устранения проблемы, которая описана для команды LIST. В отличие от команды LIST, с помощью которой отображается все содержимое рабочего каталога пользователя, с помощью команды LSUB отображаются лишь активизированные ранее описанной командой SUBSCRIBE почтовые ящики клиента. Параметры команды LSUB точно такие же, что и для команды LIST, т.е. ссылка (reference) и имя почтового ящика. Подобно команде LIST, параметр ссылки указывает путь к каталогу, в котором находятся почтовые ящики с соответствующими именами (каталог $HOME, если указано ""). Соответственно, под именем почтового ящика понимается имя ящика или имена ящиков, которые требуется вывести в списке (допускается групповой символ (*).
Почтовые ящики могут затем добавляться в список активных ящиков с помощью команды SUBSCRIBE, а удаляться из списка с помощью команды UNSUBSCRIBE. С помощью этих команд можно реализовать на базе клиента IMAP чтение групп новостей. При этом каждая группа новостей реализована как отдельный почтовый ящик на сервере, на которую затем можно подписаться. Сегодня большинство программ для работы с электронной почтой включают функцию чтения групп новостей, так что выполнение этих операций в IMAP не требуется.
Команда APPEND
APPEND - еще одна команда из семейства команд IMAP. Как правило, протокол IMAP применяется исключительно для чтения сообщений из почтовых ящиков. С помощью команды APPEND появляется возможность посылать сообщения в почтовый ящик, добавляя сообщение к концу файла почтового ящика. Эта функция работает не совсем корректно и она является довольно опасной, поэтому не рекомендуем увлекаться ею в качестве альтернативы SMTP. Это, скорее, приятное излишество протокола IMAP, а не рабочая лошадка. Основной формат команды APPEND следующий:
APPEND mailbox [(flags)] {message size} message
Команда CHECK
Команда CHECK используется для установки контрольной точки в почтовом ящике. Любые операции, такие, например, как запись данных из памяти сервера на его жесткий диск, должны выполняться при соответствующем состоянии почтового ящика. Именно для проверки целостности почтового ящика после дисковых и других подобных им операций и применяется команда CHECK. Эта команда используется без параметров.
Команда CLOSE
Команда CLOSE полностью соответствует своему названию - она закрывает почтовый ящик.
Когда почтовый ящик закрыт, то все сообщения, помеченные флагом \DELETED, физически удаляются из него.
Действие команды CLOSE четко прослеживается на только что открытом новом почтовом ящике. Открытый почтовый ящик закрывается также с помощью команды LOGOUT. Команда CLOSE не имеет параметров.
Команда EXPUNGE
Команда EXPUNGE используется для удаления из почтового ящика всех сообщений, помеченных флагом \DELETED, при этом почтовый ящик не закрывается.
Ответ сервера на команду EXPUNGE представляет собой отчет о новом состоянии почтового ящика.
1 $ telnet localhost 143 2 Trying 127.0.0.1... 3 Connected to localhost. 4 Escape character is "^]". 5 * OK localhost lMAP4rev1 v12.250 server ready 6 a1 login alex drums 7 a1 OK LOGIN completed 8 a2 select newbox 9 * 6 EXISTS 10 * 0 RECENT 11 * OK DID validity status 12 * OK Predicted next UID 13 * FLAGS (\Answered \Flagged \Deleted \Draft \Seen) 14 * OK Permanent flags 15 * OK first unseen message in /home/alex/newbox 16 a2 OK SELECT completed 17 a3 store 1 +flags \DELETED 18 * 1 FETCH (FLAGS (\Deleted)) 19 a3 OK STORE completed 20 a4 store 2 +flags \DELETED 21 * 2 FETCH (FLAGS (\Deleted)) 22 a4 OK STORE completed 23 a5 status newbox (messages unseen) 24 * STATUS newbox (MESSAGES 6 UNSEEN 6) 25 a5 OK STATUS completed 26 a6 expunge 27 * 1 EXPUNGE 28 * 1 EXPUNGE 29 * 4 EXISTS 30 * 0 RECENT 31 a6 OK Expunged 2 messages 32 a7 status newbox (messages unseen) 33 * STATUS newbox (MESSAGES 4 UNSEEN 4) 34 a7 OK STATUS completed 35 a8 logout 36 * BYE shadrach.sniallorg.org IMAP4rev1 server terminating connecion 37 a8 OK LOGOUT completed 38 Connection closed by foreign host. 39 $
В строке 8 пользователь alex выбирает почтовый ящик с именем newbox. Строки 9–16 представляют собой ответ сервера с информацией относительно выбранного почтового ящика. Строка 9 говорит о том, что в нем находится 6 сообщений. В строках 17 и 20 пользователь alex воспользовался командой STORE, чтобы пометить два сообщения как удаленные (\DELETED). Затем в строке 23 пользователь alex выдает команду STATUS. Из строки 24 можно сделать заключение, что, с точки зрения сервера IMAP, в почтовом ящике все еще находятся шесть сообщений, хотя два из них помечены как удаленные. В строке 26 пользователь выдает команду EXPUNGE, по которой сообщения, помеченные как удаленные, стираются. Ответ сервера в строках 27–31 подтверждает, что сообщения были удалены из ящика и в нем осталось четыре сообщения. Это же подтверждает и команда STATUS, заданная в строке 32. На нее сервер отвечает, что в почтовом ящике теперь только четыре сообщения.
Команда SEARCH
Команда SEARCH является одним из наиболее мощных средств из арсенала IMAP. С помощью этой команды производится поиск сообщений по критериям в активном почтовом ящике с последующим отображением результатов в виде номера сообщения. Формат команды SEARCH следующий:
SEARCH (search criteria)
Здесь CHARSET specification состоит из служебного слова CHARSET, за которым следует обозначение набора символов. Набор символов по умолчанию - ASCII , так что, как правило, этот параметр опускается. Параметр search criteria определяет ключевые критерии поиска и их значения. Критерии поиска описаны в табл. 7.3.
Таблица. Критерии поиска для команды SEARCH
Критерий поиска Описание
Как видно из таблицы существует огромное количество критериев поиска сообщений. Это очень удобно, когда требуется найти специфическое сообщение в почтовых ящиках, которые заполнены большим количеством сообщений. Ниже представлен короткий пример с использованием команды SEARCH.
1 $ telnet localhost 143 2 Trying 127.0.0.1... 3 Connected to localhost. 2 Escape character is "^]". 4 * OK localhost IMAP4rev1 V12.250 server ready 5 a1 login alex drums 7 a1 OK LOGIN completed 8 a2 select inbox 9 * 2 EXISTS 10 * 0 RECENT 11 * OK UID validity status 12 * OK Predicted next UID 13 * FLAGS (\Answered \Flagged \Deleted \Draft \Seen) 14 * OK Permanent fs 15 * OK first unseen message in /var/spool/mail/alex 16 a2 OK SELECT completed 17 a3 search header subject test 18 * SEARCH 1 2 19 a3 OK SEARCH completed 20 a4 search header subject another 21 * SEARCH 2 22 a4 OK SEARCH completed 23 a5 search unseen 24 * SEARCH 1 2 25 a5 OK SEARCH completed 26 a6 logout 27 * BYE shadrach.smallorg.org IMAP4rev1 server terminating connection 28 a6 OK LOGOUT completed 29 Connection closed by foreign host. 30 $
В строках 17, 20 и 23 показаны примеры использования команды SEARCH. Строки 18, 21 и 24 являются ответами сервера IMAP на команду SEARCH. В ответе содержатся номера сообщений, которые соответствуют критерию поиска. Если соответствий не найдено, то сервер возвращает слово SEARCH без идентификатора сообщения UID.
Команда FETCH
Команда FETCH используется для получения текста почтового сообщения. Она применяется только для отображения сообщений. В отличие от POP3, клиент IMAP не сохраняет копию сообщения на клиентском ПК.
Команда STORE
Команда STORE применяется для изменения информации о сообщении. Формат команды следующий:
STORE
Аргумент
Поведением этих типов данных можно управлять, задав перед ними знак плюс (+) или минус (-). Знак плюс означает, что значение типа данных () будет добавлено к сообщению, минус - что оно будет удалено из сообщения.
17 a3 store 1 +flags \DELETED 18 * 1 FETCH (FLAGS (\Deleted)) 19 a3 OK STORE completed
В строке 18 этого листинга показано, как устанавливается флаг \DELETED для сообщения в активном почтовом ящике с номером 1. Обратите внимание, что перед флагом задан знак плюс (+). Можно было бы также задать флаг (-). Тогда флаг \DELETED был бы отменен для сообщения (один из способов восстановить удаленное сообщение до того, как вступят в силу контрольные точки сообщения).
Сообщение, помеченное флагом \DELETED, не удаляется физически из почтового ящика до выполнения команд по назначению новых контрольных точек для почтового ящика. А это делается с помощью команд CHECK, EXPUNGE, SELECT или LOGOUT.
Команда COPY
Команда COPY используется для копирования сообщений из одного почтового ящика в другой. Формат команды COPY приведен ниже:
COPY
Здесь
Для протокола IMAP не определена команда перемещения сообщений, но очевидно, что эта операция есть не что иное, как копирование сообщений в другой почтовый ящик с заданием для оригиналов сообщений флага \DELETED. После следующей ротации почтового ящика (расстановки контрольных точек) оригиналы сообщений будут удалены, и останутся только их копии.
Команда CAPABILITY
С помощью команды CAPABILITY клиент может запрашивать у сервера IMAP информацию о его возможностях.
Команда NOOP
Действия команды NOOP, как мы знаем, соответствует ее названию, т.е. она ничего не делает. Она может применяться для поддержки активности во время сеанса для того, чтобы сеанс не прекратился по таймеру интервала ожидания. Ответ сервера на команду NOOP всегда должен быть положительным. Так как сервер часто в ответе возвращает состояние выполнения той или иной команды, то NOOP вполне можно использовать как триггер для периодического запроса о состоянии сервера. Если что-то произошло с почтовым ящиком во время периода ожидания, например сервер удалил сообщения согласно правилам, установленным для почтового ящика администратором почтовой системы, то в ответ на команду NOOP будет возвращена обновленная информация о его состоянии.
Команда LOGOUT
Команда LOGOUT используется для завершения сеанса для текущего идентификатора пользователя и закрытия всех открытых почтовых ящиков. Если какие-либо сообщения были помечены флагом \DELETED, то с помощью этой команды они будут физически удалены из почтового ящика.
Скорее всего, большинство читающих это руководство уже знакомы с самой часто используемой технологией связи – электронной почтой. Но задумывались ли вы когда-нибудь о том, как на самом деле она работает? В этой статье мы узнаем, как работает эта служба, и что такое POP3, SMTP и IMAP.
POP3 (протокол почтового отделения версия 3) часто используется для связи с удаленным сервером электронной почты и загрузки сообщений на локальный почтовый клиент с последующим удалением его на сервере, к примеру , Thunderbird , Windows Mail, и т.д. Однако обычно почтовые клиенты предлагают выбор – оставлять или нет копии сообщений на сервере. Если вы используете несколько устройств для отправки сообщений, то рекомендуется оставлять эту функцию включенной, в противном случае, на другом устройстве у вас не будет доступа к отправленным сообщениям, которые не были сохранены на удаленном сервере. Также стоит отметить, что POP3 – протокол работающий только в одном направлении, это означает, что данные берутся с удаленного сервера и отправляются на локальный клиент.
Порты POP3, по умолчанию являются такими:
Порт 110 – порт без шифрования
Порт 995 – порт SSL/TLS, также известный как POP3S
Шаг 2 - Различия между POP3 и IMAP, и какие порты у IMAP?
IMAP (протокол прикладного уровня для доступа к электронной почте), также как и POP3 используется для получения сообщений электронной почты на локальный клиент, однако, он имеет существенное отличие – загружаются только лишь заголовки электронных сообщений, сам текст письма остается на сервере. Данный протокол связи работает в две стороны, если происходят изменения на локальном клиенте, они передаются и на сервер. В последнее время IMAP стал более популярным, так как такие гиганты-провайдеры услуг электронной почты, как Gmail, стали рекомендовать использовать его вместо POP3.
Порты IMAP, по умолчанию являются такими:
- Порт 143 – порт без шифрования
- Порт 993 – порт SSL/TLS, также известный как IMAPS
Шаг 3 - SMTP, протокол для исходящей связи по электронной почте
Простой протокол передачи почты (SMTP ), используется для связи с удаленным сервером и последующей отправке сообщений с локального клиента на удаленный сервер, и в конечном итоге на сервер получателя сообщений. На вашем сервере электронной почты, этот процесс контролируется специальной службой (MTA ). Стоит упомянуть, что SMTP используется исключительно для отправки сообщений.
Порты SMTP:
- Порт 25 – порт без шифрования
- Порт 465 – порт SSL/TLS, также известный как SMTPS
Заключение
Надеемся, что теперь у вас появилось ясное понимание того, как работают почтовые протоколы и какие порты они используют. В этом руководстве мы узнали, что такое POP3, SMTP и IMAP и для чего они используются. К примеру, POP3 и IMAP используются для одинаковый целей, но подходят к выполнению этих задач по-разному. IMAP оставляет содержимое письма на сервере, а POP3 скачивает его на ваш компьютер. Также, мы узнали какие стандартные порты у SMTP, POP3 и IMAP.
Вопрос безопасности становится все более важным по мере распространения информационных технологий. Здесь приходится прорабатывать различные аспекты, которые касаются многих разработок. Так, например, многих интересует вопрос, что такое IMAP безопасность. Насколько надежен InternetAccessProtocol?
Какие преимущества он имеет? Для чего разрабатывался? Какие существуют версии? Какой механизм работы используется? Со всеми этими вопросами мы попытаемся разобраться в рамках данного обзора.
Что такое IMAP?
Безопасность переписки особенно важна в связи с тем, что в ней может содержаться различная информация. Протокол IMAP используется для обеспечения доступа к данным электронной почты только для тех пользователей, которые имеют на это право. Он был разработан на основе TCP. Данный протокол использует 143 порт. IMAP позволяет работать с почтой, которая находится на центральном сервере. Программное обеспечение, которое использует данный протокол, совершает необходимые действия так, что создается впечатление, будто вся корреспонденция хранится на компьютере пользователя.
При больших объемах пересылки может использоваться специальный сервер IMAP. Для манипуляции с письмами не требуется постоянная пересылка к получателю файлов с содержимым. Это далеко не единственный протокол, который сегодня используется в работе с почтовыми сервисами. Для отправки писем может использоваться протокол SMTP, так как в IMAP команда отправки не может гарантировать безопасность на все 100%. У этого протокола имеются некоторые известные уязвимости.
Для чего был разработан протокол IMAP?
Данный протокол разрабатывался как альтернатива известному протоколу POP3. Началось все из-за недостатков протокола POP3. Так, например, в нем не была предусмотрена возможность управления, перемещения и хранения сообщений на сервере. По этой причине был разработан протокол IMAP. Именно с помощью этого протокола пользователь может получать почту в различных местах. Это стало возможно благодаря тому, что вся нужная информация хранится на удаленном сервере.
Преимущества IMAP по сравнению с POP3
Почему же стал применяться именно протокол IMAP? Все дело в том, что помимо перечисленных выше, этот протокол предоставляет целый ряд преимуществ:
— соединение не разрывается, пока пользовательский интерфейс активен;
— сообщения будут загружены только в случае наличия со стороны клиента соответствующих требований;
— возможно осуществление одновременного доступа нескольких пользователей, при этом каждый из пользователей может следить за выполненными изменениями;
— клиент получает возможность создать, удалять или менять название ящиков. Также между ящиками можно перемещать сообщения;
— при наличии расширения IMAP 4 AccessControlList имеется возможность изменения прав доступа;
— можно также следить за состоянием самого сообщения. Данные об операциях называются флагами и хранятся на серверах;
— поиск нужного сообщения осуществляется на сервере. Существует специальный механизм расширениям.
Сообщения и их атрибуты
Протокол IMAP предусматривает работу только с теми сообщениями, для которых не требуются пакеты со специальными заголовками. В каждом из таких пакетов имеются свои атрибуты. Они могут быть определены индивидуально или вместе с остальными. Сегодня уже существует шесть версий протоколов IMAP. Практически всегда используется последняя версия.
При работе с протоколом IMAP каждое сообщение получает свой собственный 32-битный код. К коду добавляется уникальный идентификатор. Код и идентификатор вместе образуют 64-битную последовательность. Она необходима для идентификации сообщения. Вот так реализуется безопасность в протоколе IMAP. Чем позднее пришло сообщение, тем большее значение будет иметь UID. Данный параметр используется в виде кода отклика в процессе выбора почтового ящика. Этот код не изменяется во время сессии или между ними. Если по техническим условиям требуется редактирование данного параметра, то UID обязательно должен быть больше, чем ранее. Для передачи информации используется порт IMAP.
Номер сообщения
Порядковый номер сообщения начинается с 1. Каждое последующее сообщение будет иметь номер больше на 1 по сравнению с предыдущим. Отличие от почтового ящика состоит в том, что данный номер может меняться во время сессии, например, в том случае, если было выполнено удаление письма.
Флаги сообщений
Данный атрибут представляет собой список, в котором имеется нуль или большое количество именованных лексем, соотнесенных с основной информацией. В протоколе IMAP 4.1 были внедрены флаги двух типов. Действовать они могут временно, например, на протяжении сессии, а могут быть постоянными. Системным называют тот флаг, для которого имя определяется в спецификации протокола. Все флаги обязательно должны начинаться с символа «\». На сегодняшний день определены следующие системные флаги:
— \seen– сообщение уже прочитано;
— \answered – ответ отправлен;
— \recent – сообщение появилось во время текущей сессии;
— \draft – сообщение было отмечено как черновой вариант;
— \flagged – пользователь отметил данное сообщение как важное;
— \deleted – пользователь удалил сообщение.
Внутренние дата и время
Каким образом определяются данные параметры и какие величины должны в них быть указаны? Если сообщение было доставлено при помощи протокола SMTP, то берется время и дата конечного адресата. Если применялась команда копирования, то берутся параметры отправителя. Можно задать собственную дату и время. Для этого необходимо использовать команду append.
Взаимодействие клиента и сервера
При использовании протокола IMAP связь устанавливается по принципу клиент-сервер. Клиент посылает от себя все полученные команды, а сервер шлет запрошенные данные и информацию на выполнение запроса. Сообщения имеют форму строк, которые завершаются специальной последовательностью. Все процедуры выполняются по команде клиента. Распознаются они при помощи специального префикса-идентификатора. В качестве данного идентификатора используется краткая буквенно-цифровая строка.
Иначе она еще называется меткой. Каждая команда имеет собственный уникальный номер. Возможны два случая, в которых отправленные клиентом данные могут быть незаконченными. Первый случай возникает тогда, когда аргумент команды имеет код, который ранее определил число октетов. Второй случай возникает, когда требуется отклик от сервера. Клиент в обоих случаях получает запрос на продолжение команды. Он обязательно должен начинаться с символа +. Передача должна быть завершена при начале поступления определенного типа данных.
Иначе начать новый процесс будет невозможно. Передача данных серверу, чтение, выделение параметров осуществляется при помощи протокольного приемника. Когда обработка команды будет завершена, клиенту будет отправлен отклик с данным уведомлением. Информация, которая не указывает на завершение выполнения инструкция, снабжена знаком *. Она называется непомеченным откликом. Также в протоколе IMAP возможна отправка данных серверов в качестве ответа на запросы клиента или по собственной инициативе. Формат данных не зависит от причины, по которой они были отправлены.
Что можно сказать про использование популярных почтовых сервисов? Простым пользователям IMAP настройки недоступны. Их можно выполнить только в том случае, если письмо отправляется при помощи специальной клиентской программы. Причем, данные настройки действуют только по отношению к входящим письмам. Для чего нужны отклики? Они сообщают пользователю об успешном или неудачном выполнении запроса. Отклик всегда использует ту же метку, которую использовала команда клиента при запуске процедуры.
По этой причине возможна многопоточная передача данных. Для разъяснения данной ситуации могут использоваться три типа откликов: успешное выполнение, неудача и протокольная ошибка IMAP. Клиент должен быть готов всегда обработать любой отклик, который поступает к нему. Данные должны быть записаны так, чтобы клиент мог использовать их без необходимости отправки уточняющих запросов серверу. Подобное довольно часто можно видеть в Gmail. Настройки IMAP могут быть изменены или отредактированы при использовании почтовых клиентов с широким набором функций.
Что лучше: POP3 или IMAP – это не только дело вкуса.
POP3 загружает всю почту с сервера на локальный компьютер. При этом почта, в большинстве случаев, удаляется с сервера сразу после загрузки в почтовый клиент, или по прошествии нескольких дней. Это означает, что письма находятся только в одном месте – или на сервере, или на компьютере. Если что-то произойдет с компьютером, то вы столкнетесь с проблемой.
Вместе с тем, POP3 до сих пор остается самым распространенным протоколом загрузки электронной почты. Расшифровывается аббревиатура «POP», как «Post Office Protocol». Он и работает, как традиционное почтовое отделение. Отличие IMAP от POP3 состоит в том, что последний похож на почтальона, который переносит письмо из конторы к вам домой. Естественно, что, если письмо находится у вас, оно уже не может быть ни в каком другом месте.
Рассматривая вопрос, что лучше: IMAP или POP3, отдавайте предпочтение второму варианту, если на сервере вам выделено немного места, а получение дополнительных мегабайт обойдется слишком дорого. Большинство поставщиков услуг электронной почты устанавливают определенную квоту на объем корреспонденции. Если она исчерпана, то получать новые электронные письма вы сможете только после удаления части старых.
IMAP – это более новая разработка. Расшифровывается он, как «Internet Message Access Protocol», и, как следует из названия, лишь обеспечивает доступ к сообщениям на сервере. Отличие IMAP от POP3 состоит в том, что первый протокол вначале запрашивает список сообщений, хранимых на почтовом сервере. После этого ваш почтовый клиент загружает локальные копии электронных писем и позволяет работать с ними, но сами письма остаются на сервере, до тех пор, пока вы явно не удалите их оттуда.
Выбирая между POP3 или IMAP, прежде всего, следует ответить на вопрос, собираетесь ли вы работать с электронной почтой с нескольких устройств или только одного. Если вы читаете и отправляете электронные письма с домашнего и рабочего компьютера, ноутбука и планшета, то лучше всего полагаться на протокол IMAP.
Почти все крупные поставщики услуг электронной почты(Gmail, Yahoo, Hotmail и т.д.) поддерживают этот протокол. Кроме того, Microsoft Exchange является вариантом IMAP. Этот протокол позволяет легко синхронизировать электронную почту между смартфоном, планшетом и используемыми компьютерами. Вы также сможете получить доступ к своей корреспонденции с помощью обычного интернет обозревателя. Ведь письма сохраняются на сервере, а многие поставщики услуг электронной почты создают удобный интерфейс для веб-доступа.
В современном мире, наполненном всевозможными цифровыми гаджетами, выбирая между POP3 и IMAP, лучше отдать предпочтение последнему, более новому протоколу. С его помощью мы разрываем жесткую связь между устройством, почтовым клиентом и сервером электронной почты. Теперь место и тип операционной системы не имеют значения. А удешевление хранения данных, позволяет получить в свое распоряжение почтовые ящики огромного объема. Сегодня лишь единичные провайдеры дают пользоваться электронной почтой только по протоколу POP3. Если у вас нет каких-либо особых причин использовать POP3 – выбирайте протокол IMAP.
