Для чего используют язык программирования python. Что такое машинное обучение. Операции с датой и временем
Python - это популярный и мощный язык сценариев, с помощью которого вы можете сделать все что захотите. Например, вы можете сканировать веб-сайты и собирать с них данные, создавать сетевые и инструменты, выполнять вычисления, программировать для Raspberry Pi, разрабатывать графические программы и даже видеоигры. На Python можно \\ писать системные программы, независимые от платформы.
В этой статье мы рассмотрим основы программирования на Python, мы постараемся охватить все основные возможности, которые вам понадобятся чтобы начать пользоваться языком. Мы будем рассматривать использование классов и методов для решения различных задач. Предполагается, что вы уже знакомы с основами и синтаксисом языка.
Что такое Python?
Я не буду вдаваться в историю создания и разработки языка, это вы без труда узнать из видео, которое будет прикреплено ниже. Важно отметить, что Python - скриптовый язык. Это означает, ваш код проверяется на ошибки и сразу же выполняется без какой-либо дополнительной компиляции или переработки. Такой подход еще называется интерпретируемым.
Это снижает производительность, но очень удобно. Здесь присутствует интерпретатор, в который вы можете вводить команды и сразу же видеть их результат. Такая интерактивная работа очень сильно помогает в обучении.
Работа в интерпретаторе
Запустить интерпретатор Python очень просто в любой операционной системе. Например, в Linux достаточно набрать команду python в терминале:
В открывшемся приглашении ввода интерпретатора мы видим версию Python, которая сейчас используется. В наше время очень сильно распространены две версии Python 2 и Python 3. Они обе популярны, потому что на первой было разработано множество программ и библиотек, а вторая - имеет больше возможностей. Поэтому дистрибутивы включают обе версии. По умолчанию запускается вторая версия. Но если вам нужна версия 3, то нужно выполнить:
Именно третья версия будет рассматриваться в этой статье. А теперь рассмотрим основные возможности этого языка.
Операции со строками
Строки в Python неизменяемые, вы не можете изменить один из символов строки. Любое изменение содержимого требует создания новой копии. Откройте интерпретатор и выполняйте перечисленные ниже примеры, для того чтобы лучше усвоить все написанное:
1. Объединение строк
str = "welcome " + "to python"
print (str)
2. Умножение строк
str = "Losst" * 2
print (str)
3. Объединение с преобразованием
Вы можете объединить строку с числом или логическим значением. Но для этого нужно использовать преобразование. Для этого существует функция str():
str = "Это тестовое число " + str(15)
print (str)
4. Поиск подстроки
Вы можете найти символ или подстроку с помощью метода find:
str = "Добро пожаловать на сайт"
print(str.find("сайт"))
Этот метод выводит позицию первого вхождения подстроки сайт если она будет найдена, если ничего не найдено, то возвращается значение -1. Функция начинает поиск с первого символа, но вы можете начать с энного, например, 26:
str = "Добро пожаловать на сайт сайт"
print(str.find("losst",26))
В этом варианте функция вернет -1, поскольку строка не была найдена.
5. Получение подстроки
Мы получили позицию подстроки, которую ищем, а теперь как получить саму подстроку и то, что после нее? Для этого используйте такой синтаксис [начало:конец] ,просто укажите два числа или только первое:
str = "Один два три"
print(str[:2])
print(str)
print(str)
print(str[-1])
Первая строка выведет подстроку от первого до второго символа, вторая - от второго и до конца. Обратите внимание, что отсчет начинается с нуля. Чтобы выполнять отсчет в обратном порядке, используйте отрицательное число.
6. Замена подстроки
Вы можете заменить часть строки с помощью метода replace:
str = "Этот сайт про Linux"
str2 = str.replace("Linux", "Windows")
print(str2)
Если вхождений много, то можно заменить только первое:
str = "Это сайт про Linux и я подписан на этот сайт"
str2 = str.replace("сайт", "страница",1)
print(str2)
7. Очистка строк
Вы можете удалить лишние пробелы с помощью функции strip:
str = " Это веб-сайт про Linux "
print(str.strip())
Также можно удалить лишние пробелы только справа rstrip или только слева - lstrip.
8. Изменение регистра
Для изменения регистра символов существуют специальные функции:
str="Добро пожаловать на Losst"
print(str.upper())
print(str.lower())
9. Конвертирование строк
Есть несколько функций для конвертирования строки в различные числовые типы, это int(), float() , long() и другие. Функция int() преобразует в целое, а float() в число с плавающей точкой:
str="10"
str2="20"
print(str+str2)
print(int(str)+int(str2))
10. Длина строк
Вы можете использовать функции min(), max(), len() для расчета количества символов в строке:
str="Добро пожаловать на сайт Losst"
print(min(str))
print(max(str))
print(len(str))
Первая показывает минимальный размер символа, вторая - максимальный, а третья - общую длину строки.
11. Перебор строки
Вы можете получить доступ к каждому символу строки отдельно с помощью цикла for:
str="Добро пожаловать на сайт"
for i in range(len(str)):
print(str[i])
Для ограничения цикла мы использовали функцию len(). Обратите внимание на отступ. Программирование на python основывается на этом, здесь нет скобок для организации блоков, только отступы.
Операции с числами
Числа в Python достаточно просто объявить или применять в методах. Можно создавать целые числа или числа с плавающей точкой:
num1 = 15
num2 = 3,14
1. Округление чисел
Вы можете округлить число с помощью функции round, просто укажите сколько знаков нужно оставить:
a=15.5652645
print(round(a,2))
2. Генерация случайных чисел
Получить случайные числа можно с помощью модуля random:
import random
print(random.random())
По умолчанию число генерируется из диапазона от 0,0 до 1,0. Но вы можете задать свой диапазон:
import random
numbers=
print(random.choice(numbers))
Операции с датой и временем
Язык программирования Python имеет модуль DateTime, который позволяет выполнять различные операции с датой и временем:
import datetime
cur_date = datetime.datetime.now()
print(cur_date)
print(cur_date.year)
print(cur_date.day)
print(cur_date.weekday())
print(cur_date.month)
print(cur_date.time())
В примере показано как извлечь нужное значение из объекта. Вы можете получить разницу между двумя объектами:
import datetime
time1 = datetime.datetime.now()
time2 = datetime.datetime.now()
timediff = time2 - time1
print(timediff.microseconds)
Вы можете сами создавать объекты даты с произвольным значением:
time1 = datetime.datetime.now()
time2 = datetime.timedelta(days=3)
time3=time1+time2
print(time3.date())
1. Форматирование даты и времени
Метод strftime позволяет изменить формат даты и времени зависимо от выбранного стандарта или указанного формата. Вот основные символы форматирования:
- %a - день недели, сокращенное название;
- %A - день недели, полное название;
- %w - номер дня недели, от 0 до 6;
- %d - день месяца;
- %b - сокращенное название месяца;
- %B - полное название месяца;
- %m - номер месяца;
- %Y - номер года;
- %H - час дня в 24 часовом формате;
- %l - час дня в 12 часовом формате;
- %p - AM или PM;
- %M - минута;
- %S - секунда.
import datetime
date1 = datetime.datetime.now()
print(date1.strftime("%d. %B %Y %I:%M%p"))
2. Создать дату из строки
Вы можете использовать функцию strptime() для создания объекта даты из строки:
import datetime
date1=datetime.datetime.strptime("2016-11-21", "%Y-%m-%d")
date2=datetime.datetime(year=2015, month=11, day=21)
print(date1);
print(date2);
Операции с файловой системой
Управление файлами выполняется очень просто в язык программирования Python, это лучший язык для работы с файлами. Да и вообще, можно сказать, что Python - это самый простой язык.
1. Копирование файлов
Для копирования файлов нужно использовать функции из модуля subutil:
import shutil
new_path = shutil.copy("file1.txt", "file2.txt")
new_path = shutil.copy("file1.txt", "file2.txt", follow_symlinks=False)
2. Перемещение файлов
Перемещение файлов выполняется с помощью функции move:
shutil.move("file1.txt", "file3.txt")
Функция rename из модуля os позволяет переименовывать файлы:
import os
os.rename("file1.txt", "file3.txt")
3. Чтение и запись текстовых файлов
Вы можете использовать встроенные функции для открытия файлов, чтения или записи данных в них:
fd = open("file1.txt")
content = fd.read()
print(content)
Сначала нужно открыть файл для работы с помощью функции open. Для чтения данных из файла используется функция read, прочитанный текст будет сохранен в переменную. Вы можете указать количество байт, которые нужно прочитать:
fd = open("file1.txt")
content = fd.read(20)
print(content)
Если файл слишком большой, вы можете разбить его на строки и уже так выполнять обработку:
content = fd.readlines()
print(content)
Чтобы записать данные в файл, его сначала нужно открыть для записи. Есть два режима работы - перезапись и добавление в конец файла. Режим записи:
fd = open("file1.txt","w")
И добавление в конец файла:
fd = open("file1.txt","a")
content = fd.write("Новое содержимое")
4. Создание директорий
Чтобы создать директорию используйте функцию mkdir из модуля os:
import os
os.mkdir("./новая папка")
5. Получение времени создания
Вы можете использовать функции getmtime(), getatime() и getctime() для получения времени последнего изменения, последнего доступа и создания. Результат будет выведен в формате Unix, поэтому его нужно конвертировать в читаемый вид:
import os
import datetime
tim=os.path.getctime("./file1.txt")
print(datetime.datetime.fromtimestamp(tim))
6. Список файлов
С помощью функции listdir() вы можете получить список файлов в папке:
import os
files= os.listdir(".")
print(files)
Для решения той же задачи можно использовать модуль glob:
import glob
files=glob.glob("*")
print(files)
7. Сериализация объектов Python
import pickle
fd = open("myfile.pk ", "wb")
pickle.dump(mydata,fd)
Затем для восстановления объекта используйте:
import pickle
fd = open("myfile.pk ", "rb")
mydata = pickle.load(fd)
8. Сжатие файлов
Стандартная библиотека Python позволяет работать с различными форматами архивов, например, zip, tar, gzip, bzip2. Чтобы посмотреть содержимое файла используйте:
import zipfile
my_zip = zipfile.ZipFile("my_file.zip", mode="r")
print(file.namelist())
А для создания zip архива:
import zipfile
file=zipfile.ZipFile("files.zip","w")
file.write("file1.txt")
file.close()
Также вы можете распаковать архив:
import zipfile
file=zipfile.ZipFile("files.zip","r")
file.extractall()
file.close()
Вы можете добавить файлы в архив так:
import zipfile
file=zipfile.ZipFile("files.zip","a")
file.write("file2.txt")
file.close()
9. Разбор CSV и Exel файлов
С помощью модуля pandas можно смотреть и разбирать содержимое CSV и Exel таблиц. Сначала нужно установить модуль с помощью pip:
sudo pip install pandas
Затем для разбора наберите:
import pandas
data=pandas.read_csv("file.csv)
По умолчанию pandas использует первую колонку для заголовков каждой из строк. Вы можете задать колонку для индекса с помощью параметра index_col или указать False, если он не нужен. Чтобы записать изменения в файл используйте функцию to_csv:
data.to_csv("file.csv)
Таким же образом можно разобрать файл Exel:
data = pd.read_excel("file.xls", sheetname="Sheet1")
Если нужно открыть все таблицы, используйте:
data = pd.ExcelFile("file.xls")
Затем можно записать все данные обратно:
data.to_excel("file.xls", sheet="Sheet1")
Работа с сетью в Python
Программирование на Python 3 часто включает работу с сетью. Стандартная библиотека Python включает в себя возможности работы с сокетами для доступа к сети на низком уровне. Это нужно для поддержки множества сетевых протоколов.
import socket
host = "192.168.1.5"
port = 4040
my_sock = socket.create_connection ((host, port))
Этот код подключается к порту 4040 на машине 192.168.1.5. Когда сокет открыт, вы можете отправлять и получать данные:
my_sock.sendall(b"Hello World")
Нам необходимо писать символ b, перед строкой, потому что надо передавать данные в двоичном режиме. Если сообщение слишком большое, вы можете выполнить итерацию:
msg = b"Longer Message Goes Here"
mesglen = len(msg)
total = 0
while total < msglen:
sent = my_sock.send(msg)
total = total + sent
Для получения данных вам тоже нужно открыть сокет, только используется метод my_sock_recv:
data_in = my_sock.recv(2000)
Здесь мы указываем сколько данных нужно получить - 20000, данные не будут переданы в переменную, пока не будет получено 20000 байт данных. Если сообщение больше, то для его получения нужно создать цикл:
buffer = bytearray(b" " * 2000)
my_sock.recv_into(buffer)
Если буфер пуст, туда будет записано полученное сообщение.
Работа с почтой
Стандартная библиотека Python позволяет получать и отправлять электронные сообщения.
1. Получение почты от POP3 сервера
Для получения сообщений мы используем POP сервер:
import getpass,poplib
pop_serv = poplib.POP3("192.168.1.5")
pop_serv.user("myuser")
pop_serv.pass_(getpass.getpass())
Модуль getpass позволяет получить пароль пользователя безопасным образом, так что он не будет отображаться на экране. Если POP сервер использует защищенное соединение, вам нужно использовать класс POP3_SSL. Если подключение прошло успешно, вы можете взаимодействовать с сервером:
msg_list = pop_serv.list() # to list the messages
msg_count = pop_serv.msg_count()
Для завершения работы используйте:
2. Получение почты от IMAP сервера
Для подключения и работы с сервером IMAP используется модуль imaplib:
import imaplib, getpass
my_imap = imaplib.IMAP4("imap.server.com")
my_imap.login("myuser", getpass.getpass())
Если ваш IMAP сервер использует защищенное соединение, нужно использовать класс IMAP4_SSL. Для получения списка сообщений используйте:
data = my_imap.search(None, "ALL")
Затем вы можете выполнить цикл по выбранному списку и прочитать каждое сообщение:
msg = my_imap.fetch(email_id, "(RFC822)")
Но, не забудьте закрыть соединение:
my_imap.close()
my_imap.logout()
3. Отправка почты
Для отправки почты используется протокол SMTP и модуль smtplib:
import smtplib, getpass
my_smtp = smtplib.SMTP(smtp.server.com")
my_smtp.login("myuser", getpass.getpass())
Как и раньше, для защищенного соединения используйте SMTP_SSL. Когда соединение будет установлено, можно отправить сообщение:
from_addr = "[email protected]"
to_addr = "[email protected]"
msg = "From: [email protected]\r\nTo: [email protected]\r\n\r\nHello, this is a test message"
my_smtp.sendmail(from_addr, to_addr, msg)
Работа с веб-страницами
Программирование на Python часто используется для написания различных скриптов для работы с веб.
1. Веб краулинг
Модуль urllib позволяет выполнять запросы к веб-страницам различными способами. Для отправки обычного запроса используется класс request. Например, выполним обычный запрос страницы:
import urllib.request
my_web = urllib.request.urlopen("https://www.google.com")
print(my_web.read())
2. Использование метода POST
Если вам нужно отправить веб-форму, необходимо использовать не GET запрос, а POST:
import urllib.request
mydata = b"Your Data Goes Here"
my_req = urllib.request.Request("http://localhost", data=mydata,method="POST")
my_form = urllib.request.urlopen(my_req)
print(my_form.status)
3. Создание веб-сервера
С помощью класса Socket вы можете принимать входящие подключения, а значит можете создать веб-сервер с минимальными возможностями:
import socket
host = ""
port = 4242
my_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
my_server.bind((host, port))
my_server.listen(1)
Когда сервер создан. вы можете начать принимать соединения:
addr = my_server.accept()
print("Connected from host ", addr)
data = conn.recv(1024)
И не забудьте закрыть соединение:
Многопоточность
Как и большинство современных языков, Python позволяет запускать несколько параллельных потоков, которые могут быть полезными, если нужно выполнить сложные вычисления. В стандартной библиотеке есть модуль threading, который содержит класс Therad:
import threading
def print_message():
print("The message got printed from a different thread")
my_thread = threading.Thread(target=print_message)
my_thread.start()
Если функция работает слишком долго, вы можете проверить все ли в порядке, с помощью функции is_alive(). Иногда вашим потокам нужно получать доступ к глобальным ресурсам. Для этого используются блокировки:
import threading
num = 1
my_lock = threading.Lock()
def my_func():
global num, my_lock
my_lock.acquire()
sum = num + 1
print(sum)
my_lock.release()
my_thread = threading.Thread(target=my_func)
my_thread.start()
Выводы
В этой статье мы рассмотрели основы программирования python. Теперь вы знаете большинство часто используемых функций и можете применять их в своих небольших программах. Вам понравиться программирование на Python 3, это очень легко! Если у вас остались вопросы, спрашивайте в комментариях!
На завершение статьи отличная лекция о Python:
Какие программы написаны на Python?
Прикладное ПО для нормальных людей
Давайте пройдемся для начала по программам, которыми пользуются обычные люди, не являющиеся специалистами в области информационных технологий.BitTorrent
Все версии до 6 этого торрент-клиента были написаны на Python. Версия 6 была переписана на C++.Ubuntu Software Center
Цитата из Википедии :Центр приложений Ubuntu (англ. Ubuntu Software Center ) - свободное программное обеспечение для поиска, установки и удаления пакетов в системе Ubuntu Linux . в последних версиях возможна покупка журналов о Linux и Ubuntu , также можно приобретать платные игры и софт . Приложение разработано на языке Python + Vala с использованием библиотек GTK+ и является графической оболочкой для Advanced Packaging Tool .
Blender
Цитата из Википедии :Blender - свободный, профессиональный пакет для создания трёхмерной компьютерной графики, включающий в себя средства моделирования, анимации, рендеринга, постобработки видео, а также создания интерактивных игр. В настоящее время пользуется наибольшей популярностью среди бесплатных 3D редакторов в связи с его быстрым и стабильным развитием, которому способствует профессиональная команда разработчиков.Вот несколько страниц с документацией:Python используется как средство создания инструментов и прототипов, системы логики в играх, как средство импорта/экспорта файлов (например COLLADA), автоматизации задач.
GIMP
Цитата из Википедии :Python используется для написания дополнительных модулей, например, фильтров.
Вот несколько страниц, которые глубже раскрывают тему:
Игры
Civilization IV
Большая часть игры написана на Python ().Battlefield 2
В сети Интернет есть много учебников и просто рецептов по изменению различных объектов и их поведения.World of Tanks
Цитата из статьи " GUI в игре World of Tanks ":В качестве скриптового языка в проекте используется Python. Всю красоту, которую мы сделали во Flash, нужно подключить в игре, наполнить данными, обработать и транслировать пользовательский ввод в реальные действия в игре. Все это как раз и делается в Python.Более полный список игр, которые используют Python, можно найти в Википедии и документации к Python .
Какие компании используют Python?
Список компаний, которые используют Python, длинный. Среди них Google , Facebook , Yahoo , NASA , Red Hat , IBM , Instagram , Dropbox , Pinterest , Quora , Яндекс , Mail.Ru .Яндекс
Вот, пожалуйста, доклад " Python в ядре Яндекс.Диска ". Сергей Иващенко (докладчик):Я расскажу о том, как мы используем Python в Яндекс.Диске, какие применяем библиотеки и фреймворки, какие задачи решаем и с какими проблемами сталкиваемся. Также затрону тему логирования и обработки асинхронных операций.В одном из видео на канале Яндекса, сотрудники рассказали о своих любимых языках.
А ещё в блоге компании Яндекс есть запись " На каких языках программирования пишут в Яндексе " от 19 марта 2014 года. Так вот, 13% сотрудников Яндекс большую часть рабочего времени пишут на языке Python.
Mail.ru
Сотрудники Mail.ru тоже используют Python. В официальном блоге Mail.ru на Хабре есть несколько статей о Python:DropBox
Сервис разработан на языке Python. Не случайно сам автор языка Python, Гвидо ван Россум , работает в DropBox.Другие компании
The organizations that use Python В каких областях применяется Python?
Web-разработка
В этой области Python, пожалуй, используется больше всего. Веб-фреймворк Django продолжает набирать обороты, пополняя армию своих фанатов. Многие начинающие программисты даже думают, что Python больше нигде не используется. Но на Python написаны многие другие веб-фреймворки: Pylons , TurboGears , CherryPy , Flask , Pyramid и другие. С более полным списком можно ознакомится .Есть и CMS на базе Django, она так и называется DjangoCMS .
Очень часто на Python пишут и парсеры сайтов. Обычно для этого используют Requests , aiohttp , BeautifulSoup , html5lib . Есть и более высокоуровневые инструменты для парсинга сайтов: Scrapy , Grab .
Системное администрирование
Python - это отличный язык для автоматизации работы системного администратора. Он установлен по умолчанию на все Linux-сервера. Он простой, понятный. Код на Python легко читается. Некоторые любят Perl, я тоже его люблю за удобную работу с регулярными выражениями, но я ненавижу Perl за его синтаксис. Bash удобен для относительно небольших и средних скриптов, но Python мощнее и в некоторых случаях позволяет писать намного меньше кода.Единственный пакет, который я знаю, это Fabric . Возможно есть что-то ещё, напишите мне в комментариях, если знаете.
Дополнительная информация
Python for system administrators (IBM developerWorks)Fabric documentation. Systems Administration.
Встроенные системы (embedded systems)
Очень часто Python используется для программирования встроенных систем. Самый известный проект, который использует Python - это Raspberry Pi. Но он не единственный:Embedded Python
Raspberry Pi
Python Embedded Tools
The Owl Embedded Python System
Разработка прикладного ПО, в том числе игр
Python часто используется как вспомогательный язык при разработке прикладного программного обеспечения. Примеры я уже приводил выше, не буду повторяться.Научные исследования
Физики и математики очень любят Python за его простоту. Кроме того для Python существует огромное количество библиотек, облегчающих жизнь ученому. Например:- SciPy - это открытая библиотека высококачественных научных инструментов для языка программирования Python. SciPy содержит модули для оптимизации, интегрирования, специальных функций , обработки сигналов , обработки изображений , генетических алгоритмов , решения обыкновенных дифференциальных уравнений и других задач, обычно решаемых в науке и при инженерной разработке.
- Matplotlib - библиотека на языке программирования Python для визуализации данных двумерной (2D) графикой (3D графика также поддерживается). Получаемые изображения могут быть использованы в качестве иллюстраций в публикациях.
- NumPy - это расширение языка Python, добавляющее поддержку больших многомерных массивов и матриц, вместе с большой библиотекой высокоуровневых математических функций для операций с этими массивами.
Обучение
Очень часто в качестве первого языка программирования советуют именно Python.У некоторых российских школ есть успешный опыт обучения школьников программированию на языке Python.
Кстати, Гвидо ван Россум находился под впечатлением от языка ABC , когда писал Python. А язык ABC предназначался для обучения и прототипирования.
Критика языка Python
Python один из самых медленных языков программирования
В сети Интеренет можно найти много различных тестов скорости программ, написанных на разных языках программирования. Python обычно находится в конце списков.Обычно под Python имеют в виду CPython, эталонную реализацию языка. Существуют другие реализации языка Python, например PyPy. PyPy обгоняет по скорости CPython и многие другие скриптовые языки программирования, очень близок по скорости к Java. Но есть одна проблема - в PyPy не полностью реализован язык Python, из-за этого многие Python-программы на нем не работают.
Многие программисты пишут вставки на C/C++, чтобы ускорить работу в узких местах. Python не предназначен для вычислительных задач, для задач, которые требуют много памяти (memory bound) и подобного. Нужно уметь выбирать подходящие инструменты для стоящих перед вами задач. Гвидо ван Россум говорит об этом в интервью .
GIL мешает одновременному выполнению нескольких потоков
Global Interpreter Lock не позволяет нескольким потокам Python выполняться одновременно. Это особенности CPython. Но недостаток ли это? Нужно понимать, что всё зависит от задачи. Если ваша задача зависит от скорости ввода-вывода (IO bound task), то эффективнее использовать несколько процессов, которые будут работать в асинхронном режиме с внешними ресурсами. А потоки с общей памятью хороши для вычислительных задач (CPU-bound). Но даже если вам нужна работа с потоками, то можно отключить GIL на время, так как это сделано в математическом пакет NumPy.Нет хороших инструментов для дистрибуции
К сожалению код на Python, который имеет множество зависимостей от системных библиотек, сложно перенести на другие системы. Эту задачу решают с помощью virtualenv. но этот инструмент очень много критикуют системные администраторы.Дополнительная информация
Python Success StoriesYou Used Python to Write WHAT?
What is Python Used For?
More proof that it"s Python"s world and we"re just living in it
AVERAGE SALARY FOR JOBS REQUIRING PYTHON
List of Python software
Перейдем к теоретически-практической части и начнем с того что из себя представляет интерпретатор.
Интерпретатор
Интерпретатор - это такая программа, которая выполняет другие программы. Когда вы пишете программу на языке Python, интерпретатор читает вашу программу и выполняет содержащиеся в ней инструкции. В действительности, интерпретатор - это слой программной логики между вашим программным кодом и аппаратурой вашего компьютера.
В зависимости от используемой версии Python сам интерпретатор может быть реализован как программа на языке C, как набор классов Java и в каком-либо другом виде, но об этом позже.
Запуск сценария в консоли
Давайте запустите в консоле интерпретатор:
Теперь он ожидает ввода комманд, введите туда следующую инструкцию:
Print "hello world!"
ура, наша первая программа! :D
Запуск сценария из файла
Создайте файл "test.py", с содержимым:
# вывести "hello world" print "hello world" # вывести 2 в 10 степени print 2 ** 10
и выполните этот файл:
# python /path/to/test.py
Динамическая компиляция и байт-код
После того, как запустите сценарий, сначала компилирует исходный текст сценария в байт-код для виртуальной машины. Компиляция - это просто этап перевода, а байт-код это низкоуровневое платформонезависимое представление исходного текста программы. Python транслирует каждую инструкцию в исходном коде сценария в группы инструкций байт-кода для повышения скорости выполнения программы, так как байт-код выполняется намного быстрее. После компиляции в байт-код, создается файл с расширением ".pyc" по соседству с исходным текстом сценария.
В следующий раз, когда вы запустите свою программу интерпретатор минует этап компиляции и отдаст на выполнение откомпилированный файл с расширением ".pyc". Однако, если вы изменили исходные тексты вашей программы, то снова произойдет этап компиляции в байт-код, так как Python автоматически следит за датой изменения файла с исходным кодом.
Если Python окажется не в состоянии записать файл с байт-кодом, например из-за отсутствия прав на запись на диск, то программа не пострадает, просто байт-код будет собран в памяти и при завершении программы оттуда удален.
Виртуальная машина Python (PVM)
После того как пройдет процесс компиляции, байт-код передается механизму под названием виртуальная машина , которая и выполнит инструкции из байт-кода. Виртуальная машина - это механизм времени выполнения, она всегда присутствует в составе системы Python и это крайняя составляющая системы под названием "Интерпретатор Python".
Для закрепления пройденного еще раз проясним ситуацию, компиляция в байт-код производится автоматически, а PVM - это всего лишь часть системы Python, которую вы установили вместе с интерпретатором и компилятором. Все происходит прозрачно для программиста, и вам не надо выполнять эти операции вручную.
Производительность
Программисты имеющие опыт работы с такими языками как C и C++, могут заметить некоторые отличия в модели выполнения Python. Первое - это отсутствие этапа сборки или вызова утилиты "make", программы на Python могут быть сразу же запущены после написания исходного кода. Второе отличие - байт-код не является двоичным машинным кодом (например инструкции для микропроцессора Intel), он является внутренним представлением программы на языке Python.
По этим причинам программы на Python не могут выполняться также быстро как на C/C++. Обход инструкций выполняет виртуальная система, а не микропроцессор, и чтобы выполнить байт-код, необходима дополнительная интерпретация, инструкции которой требуют большего времени, чем машинные инструкции микропроцессора.
Однако, с другой стороны, в отличии от традиционных интерпретаторов, например как в PHP, здесь присутствует дополнительный этап компиляции - интерпретатору не требуется каждый раз анализировать исходный текст программы.
В итоге, Python по производительности находится между традиционными компилирующими и традиционными интерпретирующими языками программирования.
Альтернативные реализации Python
То что было сказано выше о компиляторе и виртуальной машине, характерно для стандартной реализации Python, так называемой CPython (реализации на ANSI C). Однако также существует альтернативные реализации, такие как Jython и IronPython, о которых пойдет сейчас речь.
Это стандартная и оригинальная реализация Python, названа так, потому что написана на ANSI C. Именно ее мы установили, когда выбрали пакет ActivePython или установили из FreeBSD портов. Поскольку это эталонная реализация, она как правило работает быстрее, устойчивее и лучше , чем альтернативные реализации.
Jython
Первоначальное название JPython, основная цель - тесная интеграция с языком программирования Java . Реализация Jython состоит из Java-классов, которые выполняют компиляцию программного кода на языке Python в байт-код Java и затем передают полученный байт-код виртуальной машине Java (JVM) .
Цель Jython состоит в том, чтобы позволить программам на языке Python управлять Java-приложениями, точно также как CPython может управлять компонентами на языках C/C++. Эта реализация имеет беcшовную интеграцию с Java. Поскольку программный код на Python транслируется в байт-код Java, во время выполнения он ведет себя точно также, как настоящая программа на языке Java. Программы на Jython могут выступать в качестве апплетов и сервлетов, создавать графический интерфейс с использованием механизмов Java и т.д. Более того, Jython обеспечивает поддержку возможности импортировать и использовать Java-классы в программном коде Python.
Тем не менее, поскольку реализация Jython обеспечивает более низкую скорость выполнения и менее устойчива по сравнению с CPython, она представляет интерес скорее для разработчиков программ на языке Java, которым необходим язык сценариев в качестве интерфейса к Java-коду.
Реализация предназначена для обеспечения интеграции программ Python с приложениями, созданными для работы в среде Microsoft .NET Framework операционной системы Windows, а также в Mono - открытом эквиваленте для Linux. Платформа.NET и среда выполнения языка C# предназначены для обеспечения взаимодействия между программными объектами - независимо от используемого языка программирования, в духе более ранней модели COM компании Microsoft.
IronPython позволяет программам на языке Python играть роль как клиентских, так и серверных компонентов, доступных из других языков программирования.NET. Поскольку разработка ведется компанией Microsoft , от IronPython, помимо прочего, можно было бы ожидать существенной оптимизации производительности.
Средства оптимизации скорости выполнения
Существуют и другие реализации, включая динамический компилятор Psyco и транслятор Shedskin C++, которые пытаются оптимизировать основную модель выполнения.
Динамический компилятор Psyco
Система Psyco - это компонент, расширяющий модель выполнения байт-кода, что позволяет программам выполняться быстрее. Psyco является расширением PVM , которое собирает и использует информацию о типах, чтобы транслировать части байт-кода программы в истинный двоичный машинный код, который выполняется гораздо быстрее. Для такой трансляции не требуется вносить изменения в исходный код или производить дополнительную компиляцию в ходе разработки.
Во время выполнения программы, Psyco собирает информацию о типах объектов, и затем эта информация используется для генерации высокоэффективного машинного кода, оптимизированного для объектов этого типа. После этого произведенный машинный код заменяет соответствующие участки байт-кода, тем самым увеличивается скорость выполнения.
В идеале некоторые участки программного кода под управление Psyco могут выполняться также быстро, как скомпилированный код на языке Си .
Psyco обеспечивает увеличение скорости от 2 до 100 раз, но обычно в 4 раза, при использовании немодифицированного интерпретатора Python. Единственный минус у Psyco, это то обстоятельство, что в настоящее время он способен генерировать машинный код только для архитектуры Intel x86 .
Psyco не идет в стандартной поставке, его надо скачать и установить отдельно. Еще есть проект PyPy , который представляет собой попытку переписать PVM с целью оптимизации кода как в Psyco , проект PyPy собирается поглотить в большей мере проект Psyco .
Транслятор Shedskin C++
Shedskin
- это система, которая преобразует исходный код на языке Python в исходный код на языке C++, который затем может быть скомпилирован в машинный код. Кроме того, система реализует платформонезависемый подход к выполнению программного кода Python.
Фиксированные двоичные файлы (frozen binaries)
Иногда необходимо из своих программ на Python создавать самостоятельные исполняемые файлы. Это необходимо скорее для упаковки и распространения программ.
Фиксированные двоичные файлы объединяют в единый файл пакета байт-код программ, PVM и файлы поддержки, необходимые программам. В результате получается единственный исполняемый файл, например файл с расширение ".exe" для Windows.
На сегодняшний день существует три основных инструмента создания "frozen binaries":
- py2exe - он может создавать автономные программы для Windows, использующие библиотеки Tkinter, PMW, wxPython и PyGTK для создания графического интерфейса, программы использующие программные средства создания игр PyGame, клиентские программы win32com и многие другие;
- PyInstaller - напоминает py2exe, но также работает в Linux и UNIX и способен производить самоустанавливающиеся исполняемые файлы;
- freeze - оригинальная версия.
Вам надо загружать эти инструменты отдельно от Python, они распространяются бесплатно.
Фиксированные двоичные файлы имеют немалый размер, ибо они содержат в себе PVM, но по современным меркам из все же нельзя назвать необычно большими. Так как интерпретатор Python встроен непосредственно в фиксированные двоичные файлы, его установка не является обязательным требованием для запуска программ на принимающей стороне.
Резюме
На сегодня всё, в следующей статье расскажу о стандартных типах данные в Python, ну и в последующих статьях рассмотрим каждый тип в отдельности, а также функции и операторы для работы с этими типами.
Хотите войти в мир программирования и быстро написать несколько своих первых программ? Или мечтаете изучить новые языки, но не знаете, с чего начать? Обратите свое внимание на курсы по основам программирования на Python. Далее вы узнаете подробности о том, почему именно этот язык рекомендуется для начинающих и какие программы можно на нем создавать.
Основы Python для начинающих программистов
Python — это мощный высокоуровневый объектно-ориентированный язык программирования, созданный Гвидо ван Россумом. У него простой в использовании синтаксис, что делает его идеальным языком для тех, кто пытается научиться программированию в первый раз. Для продолжения знакомства с языком можно прочитать книгу Дмитрия Златопольского “Python — основы программирования». Но мы начнем с самых основ. Литературы по этому направлению достаточно много. Еще один вариант — книги Гарри Персиваля “Python. Разработка на основе тестирования”. В ней рассказывается о языке с практической точки зрения.
Применение языка на практике
Итак, что же пишут на Python или “Питон”, как его еще называют в среде программистов, и зачем его учить? Python — это язык общего назначения. На нем пишут веб-приложения с использованием различный фреймворков, системные утилиты и приложения для автоматизации различных действий. Курсов по основам программирования на Python сейчас достаточно, чтобы попробовать изучить язык самостоятельно.
Это может стать основой новой профессии, так как он имеет широкий спектр приложений от веб-разработки, научных и математических вычислений для настольных графических пользовательских интерфейсов. Он также хорошо подходит для создания прототипов. То есть, сначала создается прототип на Python, затем концепцию можно перенести на более быстрые и компилируемые языки программирования. При помощи этого языка можно создавать desktop-приложения с графическим интерфейсом и писать игры, для чего существует специальная библиотека. Основы алгоритмизации и программирования на языке Python подходят для создания приложений для мобильных устройств.
Зачем изучать язык Python
Python также использует очень простой и сжатый синтаксис и динамическую типизацию. Знание основ алгоритмизации и программирования на Python позволяет быстро создать программу и запустить ее. Если вам нужен язык для быстрого создания приложений и сценариев в нескольких областях, вам будет трудно найти лучшую альтернативу, чем Python. У него имеется ряд очевидных преимуществ перед другими языками программирования:
- универсальное использование — на этом языке можно писать разные типы приложений, потому вместе с его освоением открываются широкие возможности для применения этого языка;
- простота — изначально язык разрабатывался для упрощения работы с ним человека;
- популярность в среде программистов и востребованность на рынке труда — Python широко применяется в различных проектах;
- большое количество доступных библиотек расширяют возможности языка и делают его еще более универсальным;
- кроссплатформенность — один раз написанная программа будет работать на любой платформе, где есть интерпретатор языка;
- одним из важных плюсов языка является его качественная документация.
Python также является одним из старейших языков веб-разработки, созданных Гвидо ван Россумом в Национальном научно-исследовательском институте математики и информатики в Нидерландах в начале 90-х годов. Язык сильно заимствован из C++, C и других языков сценариев. Он использует ключевые слова на английском языке, которые составляют большую часть программирования на Python. Если вы освоите их, то можно считать, что по большей части уже освоили язык. Это займет некоторое время и вам будет нужно понять основные концепции, прежде чем начинать. Потому давайте начнем с того, что познакомимся с ними.
Преимущества языка Python
Одним из ключевых преимуществ программирования Python является его интерпретирующий характер. Это означает, что код программы не компилируется в исполняемый файл, а выполняется интерпретатором всякий раз заново, когда происходит запуск пользователем. Потому для запуска программы необходимо его наличие на том компьютере, где вы будете создавать программы. Интерпретатор и стандартная библиотека доступны в бинарной или исходной форме с веб-сайта Python и могут беспрепятственно работать во всех основных операционных системах.
Итак, к основным преимуществам Python можно отнести:
Python — отличный выбор, поскольку он поддерживает разработку приложений, от игр до браузеров до обработки текста.
Как установить и запустить интерпретатор
Для того чтобы начать писать на Python, нужно скачать и установить его интерпретатор на официальном сайте языка, выбрав версию для своей операционной системы. Стоит отметить, что существует две ветки языка — вторая и третья. Лучше начать изучать основы Python 3, если другой версии вы еще не устанавливали. При установке на Windows обязательно нужно обратить внимание на то, включены ли опция Add Python to Path и утилита Pip. После установки его можно запустить. Для этого в командной строке нужно ввести: “python”, и он запустится. В окне появятся три угловые скобки, означающие, что вы находитесь в интерпретаторе. Этот язык программирования также свободно распространяемый, и по нему можно найти советы, сторонние инструменты, программы, модули и дополнительную документацию.
Ключевые слова в Python
В интерпретаторе можно выполнять действия на языке в интерактивном режиме. Каждое действие выполняется сразу, после нажатия Enter. Можно использовать его как продвинутый калькулятор. Но писать большую программу в интерпретаторе слишком трудоемко. Поэтому имеет смысл пользоваться текстовыми редакторами. Готовый текстовый файл можно затем выполнить интерпретатором. Одна из основ Python состоит в том, что любые блоки в нем задаются с помощью отступов, поэтому необходимо должны отступать, чтобы запустить блок и удалить его. Интерпретатор может быть легко расширен новыми типами данных или функциями в C++ или C. Язык программирования Python работает как расширение для настраиваемых приложений. То, что делает этот язык настолько легким для изучения — это тот факт, что он использует английские ключевые слова, а не знаки препинания, и имеет меньше синтаксических конструкций, чем в других языках программирования.
Начало работы с Python
Перед началом работы вне интерпретатора, чтобы создать программу, нужно открыть текстовый редактор и создать пустой файл с кодировке utf-8 и задать расширение “py”. Лучше всего для этой цели использовать специальные редакторы кода для программистов. В первой строке нужно обозначить кодировку. Строки, начинающиеся со знака #, считаются комментариями и не выполняются. Python неявно и динамически типизирован, поэтому вам не нужно объявлять переменные. Типы принудительно применяются, и переменные также чувствительны к регистру, поэтому var и VAR рассматриваются как две отдельные переменные.Если вы хотите знать, как работает какой-либо объект, вам просто нужно ввести следующее: “help(object)”. Вы также можете использовать команду “dir (object)”, чтобы узнать все методы конкретной опции, и вы можете использовать объект “__ doc__”, чтобы узнать его строку документа.
Как запустить написанную программу
Запускать написанную программу нужно также в командной строке. Для этого нужно написать имя интерпретатора и через пробел — имя файла с написанной программой. При запуске программы нужно указывать полный путь к файлу. Это не всегда просто, так как путь может быть очень длинным, поэтому иногда проще сменить текущую директорию в командной строке и там запускать интерпретатор. Для этого нужно подняться в нужную директорию, зажать клавишу shift, правой кнопкой мыши кликнуть по директории и в открывшемся меню выбрать опцию “открыть окно команд”. Тогда командная строка будет запущена в этой директории. Далее в окне консоли нужно ввести имя интерпретатора и через пробел — имя файла, который находится в ней.
Синтаксис языка
Основы программирования на примере языка Python не слишком отличаются от других языков, но переменные несут немного другой смысл. У Python нет обязательных символов для завершения операторов. Любые блоки задаются с помощью отступов, поэтому вы должны отступать, чтобы запустить блок и удалить его. Для многострочных комментариев необходимо использовать многострочные строки. Значения присваиваются при помощью знака “=”, а тестирование равенства выполняется с двумя из них “==”. Вы можете уменьшать или увеличивать значения с помощью операторов = или — = с суммой в правой части. Это может работать со строками и другими типами данных. Вы также можете использовать несколько переменных в одной строке.
Типы данных в Python
Теперь рассмотрим типы данных. В основе Python лежат структуры данных — это словари (dict), кортежи (tuples) и списки (lists). Наборы можно найти в библиотеке наборов, которые доступны во всех версиях Python. Списки похожи на одномерные массивы, хотя вы также можете иметь списки других списков. Словари по существу являются ассоциативными массивами или хэш-таблицами. Кортежи представляют собой одномерные массивы. Теперь массивы в основе Python могут быть любого типа, а ypes всегда равно нулю. Отрицательные числа начинаются от конца до начала, а -1 — последний элемент. Переменные также могут указывать на функции.
Строки в Python
Строки Python могут использовать одиночные или двойные кавычки, и вы можете использовать кавычки одного вида в строке с использованием другого вида. Многострочные строки заключены в одиночные или тройные двойные кавычки. Чтобы заполнить строки значениями, вы можете использовать оператор modulo (%), а затем кортеж. Каждый% заменяется элементом кортежа слева направо, и вы также можете использовать словарные подстановки. Операторы управления потоком Python: “while”, “for” и “if”. Для ветвления вам нужно использовать “if”. Для перечисления через список используйте “for”. Для получения списка номеров используйте диапазон.
Функции в Python
Ключевое слово “def” используется для объявления функций. Привязывание другого объекта к переменной удаляет старый и заменяет неизменяемые типы. Необязательные аргументы могут быть заданы в объявлении функции после обязательных аргументов, присваивая им значения по умолчанию. В случае именованных аргументов имени аргумента присваивается значение. Функции могут возвращать кортеж, и вы можете эффективно возвращать несколько значений, используя распаковку кортежа. Параметры передаются через ссылку, но кортежи, ints, строки и другие неизменяемые типы неизменяемы, потому что передается только местоположение памяти элемента.
Вы только начали свое знакомство с языком, потому не бойтесь ошибок и обращайтесь к доступным ресурсам, чтобы продолжить обучение этому интересному и полезному языку программирования.
Последнее обновление: 24.01.2018
Python представляет популярный высокоуровневый язык программирования, который предназначен для создания приложений различных типов. Это и веб-приложения, и игры, и настольные программы, и работа с базами данных. Довольно большое распространение питон получил в области машинного обучения и исследований искусственного интеллекта.
Впервые язык Python был анонсирован в 1991 году голландским разработчиком Гвидо Ван Россумом. С тех пор данный язык проделал большой путь развития. В 2000 году была издана версия 2.0, а в 2008 году - версия 3.0. Несмотря на вроде такие большие промежутки между версиями постоянно выходят подверсии. Так, текущей актуальной версией на момент написания данного материала является 3.7 . Более подробную информацию о всех релизах, версиях и изменения языка, а также собственно интерпретаторы и необходимые утилиты для работы и прочую полезную информацию можно найти на официальном сайте https://www.python.org/ .
Основные особенности языка программирования Python:
Python - очень простой язык программирования, он имеет лаконичный и в то же время довольно простой и понятный синтаксис. Соответственно его легко изучать, и собственно это одна из причин, по которой он является одним из самых популярных языков программирования именно для обучения. В частности, в 2014 году он был признан самым популярным языком программирования для обучения в США.
Python также популярен не только в сфере обучения, но в написании конкретных программ в том числе коммерческого характера. В немалой степени поэтому для этого языка написано множество библиотек, которые мы можем использовать.
Кроме того, у данного языка программирования очень большое коммьюнити, в интернете можно найти по данному языку множество полезных материалов, примеров, получить квалифицированную помощь специалистов.
Для создания программ на Python нам потребуется интерпретатор. Для его установки перейдем на сайт https://www.python.org/ и на главной станице в секции Downloads найдем ссылку на загрузку последней версии языка (на данный момент это 3.7.2):
Перейдем по ссылке к странице с описанием последней версии языка. Ближе к низу на ней можно найти список дистрибутивов для разных операционных систем. Выберем нужный нам пакет и загрузим его. Например, в моем случае это ОС Windows 64-х разрядная, поэтому я выбираю ссылку на пакет Windows x86-64 executable installer . После загрузки дистрибутива установим его.
Соответственно для MacOS можно выбрать пункт macOS 64-bit installer .
На ОС Windows при запуске инсталлятора запускает окно мастера установки:
Здесь мы можем задать путь, по которому будет устанавливаться интерпретатор. Оставим его по умолчанию, то есть C:\Users\[имя_пользователя]\AppData\Local\Programs\Python\Python36\ .
Кроме того, в самом низу отметим флажок "Add Python 3.6 to PATH", чтобы добавить путь к интерпретатору в переменные среды.
После установки в меню Пуск на ОС Windows мы сможем найти иконки для доступа к разным утилитам питона:
Здесь утилита Python 3.7 (64-bit) представляет интерпретатор, в котором мы можем запустить скрипт. В файловой системе сам файл интерпретатора можно найти по пути, по которому производилась установка. На Windows по умолчанию это путь C:\Users\[имя_пользователя]\AppData\Local\Programs\Python\Python37 , а сам интерпретатор представляет файл python.exe . На ОС Linux установка производится по пути /usr/local/bin/python3.7 .
