Главная
Блог разработчиков phpBB
 
+ 17 предустановленных модов
+ SEO-оптимизация форума
+ авторизация через соц. сети
+ защита от спама

Высоконагруженные сайты и приложения на Python / Django (29 планов)

Anna | 15.06.2014 | нет комментариев
Наша компания достаточно давным-давно занимается разработкой крупных веб-приложений на Python / Django. В рунете весьма немного информации об этом восхитительном языке программирования и фремворке на его основе. Мы решили поправить эту ошибку и рассказать о знаменитых высоконагруженных сайтах на этой спецтехнологии, а также дать много увлекательных технических подробностей. Для комфорта сопоставления сайтов между собой мы приводим еще и немножко статистики к всякому из планов. В целом сайтов на Python / Django, безусловно, дюже много в мире, мы охватим только особенно увлекательные по нашему суждению.

Маленькая таблица знаменитых планов (на основе данных http://builtwith.com/), кликабельно:

Увеличить

Pinterest (cоциальная сеть)

Использованные спецтехнологии:

Python как язык программирования и в качестве фреймворка был выбран Django. Хостинг – Amazon. За основную систему управления базами данных взята MySQL, кэширование объектов исполняет memcached, а коллекций объектов – Redis. Solr применяется как поисковая платформа, а Hadoop – для реализации поисковых и контекстных механизмов, обзора данных.

Немножко о статистике:

В штате работают больше чем 140 работников по последним данным. Около 11-ти миллионов уникальных посетителей в неделю на декабрь 2011. 500 виртуальных машин в EC2, 410 Терабайт пользовательских данных либо 80 миллионов разных объектов хранится в Amazon S3. На июль 2013 года Pinterest имеет около 70 миллионов пользователей, согласно французскому агентству Semiocast. Итого, Pinterest становится 4-ой по популярности общественной сетью в США позже Facebook, Twitter и LinkedIn.

(http://en.wikipedia.org/wiki/Pinterest)

(оригинал http://www.businessinsider.com/how-we-scaled-pinterest-2013-4?op=1,http://highscalability.com/blog/2012/5/21/pinterest-architecture-update-18-million-visitors-10x-growth.html)

Disqus (сервис)

Использованные спецтехнологии:

Python как язык программирования и в качестве фреймворка был выбран Django. Операционная система – Linux. За основную систему управления базами данных взята PostgreSQL, кэширование объектов исполняет memcached, как и в случае с Pinterest. За балансировку нагрузки отвечает HAProxy, за репликацию данных – Slony.

Немножко о статистике:

В штате работают 33 человека. Число зарегистрированных пользователей растет и на данный момент составляет 50 миллионов человек. Сайт получает приблизительно 17 тысяч запросов в секунду. Больше 144 миллионов уникальных посещений в месяц только с территории США. Около 750 000 сайтов и блогов.

(источник http://www.insight-it.ru/masshtabiruemost/arkhitektura-disqus/, оригиналhttp://highscalability.com/blog/2010/10/26/scaling-disqus-to-75-million-comments-and-17000-rps.html,http://en.wikipedia.org/wiki/Disqus)

Instagram (фото- и видео-приложение)

Использованные спецтехнологии:

За основную операционную систему взят Ubuntu Linux 11.04. Python как язык программирования в качестве фреймворка был выбран Django. За основную систему управления базами данных взята PostgreSQL, кэширование объектов исполняет вновь же memcached, а Redis выступает в качестве добавочного хранилища данных. За балансировку нагрузки отвечает HAProxy. План использует инфраструктуру Amazon, в частности EC2, ELB, Route, S3 и CloudFront. За поисковую платформу взят Solr. Для работы с задачами применяется Gearman.

Немножко о статистике:

Все начиналось с одного небольшого и слабого сервера и двоих разработчиков. В 1-й же день было зарегистрировано около 25 000 пользователей. Сегодня же Instagram пользуются больше 200 миллионов человек — больше 7 миллионов пользователей повседневно. Около 20 миллиардов фотографий было опубликwww.slideshare.net/InfoQ/inside-lanyrds-architecture”>http://www.slideshare.net/InfoQ/inside-lanyrds-architecture)

Mozilla (программное обеспечение)

Использованные спецтехнологии:

Компания Mozilla использует разные языки программирования, в том числе и Python, тот, что применяется обширно: от написания сборочных скриптов до сайта компании, Webmaker и других компонентов, а также сервера синхронизации – минималистичное WSGI приложение использующее Paste для разворачивания на хостинге и Sqlite3 в качестве базы данных.

Немножко о статистике:

На сегодняшний день планами Mozilla пользуются больше 500 миллионов человек. Это крайне огромный показатель, если учесть конкуренцию. Планами Mozilla занимаются больше тысячи разработчиков.

(источник http://expandedramblings.com/index.php/internet-browser-stats/)

Yelp (портал с элементами общественной сети)

Использованные спецтехнологии:

За основную операционную систему взят Ubuntu Linux. Python как язык программирования и в качестве фреймворка был выбран Django. За основную систему управления базами данных взята MySQL. Также Yelp использует сервисы Amazon, в частности S3 для хранения логов и фотографий, и EMR. В качестве поисковой платформы применяется Solr/Lucene. За балансировку нагрузки отвечает HAProxy и LVS.

(источник http://engineeringblog.yelp.com/http://aws.amazon.com/solutions/case-studies/yelp/)

Немножко о статистике:

Посещаемость сайта составляет около 200 миллионов человек в месяц, из них порядка 120 миллионов уникальных посещений. (https://www.quantcast.com/yelp.com). За все время работы плана написано больше 53 миллионов отзывов пользователями по каждому миру.

(источник http://expandedramblings.com/index.php/yelp-statistics/)

Foursquare (общественная сеть с функцией геопозиционирования)

Использованные спецтехнологии:

План написан на нескольких языках, в том числе и Python, тот, что применяется для автоматизации операционных задач и других процессов. CentOS Linux является стержневой операционной системой. HAProxy отвечает за разделение нагрузки и API-запросов. За основную систему управления базами данных взята MongoDB, кэширование вычислительных процессов исполняет Memcache. Часть информации, а именно пользовательские фотографии, хранится в Amazon S3. Обзором занимается Hadoop. За поисковую платформу взяты Solr и Elasticsearch. Для поиска по гео-индексам применяется библиотека s2 от Google в связке с PostGIS. Kestrel отвечает за обработку асинхронных задач.

(источник https://foursquare.com/about)

Немножко о статистике:

Штат состоит приблизительно из 140 работников. По данным за 2013 год планом занимались около 40 тысяч разработчиков. Пользователей около 45 миллионов. Всеобщее число чек-инов по каждому миру 5 миллиардов, и приблизительно 3 миллиона добавляется всякий день.

Rdio (музыкальный сервис)

Использованные спецтехнологии:

Rdio использует несколько языков программирования. В частности, часть Бэкенда написана на Python и в качестве фреймворка выбран Django. Для хранения информации применяется несколько баз данных – MongoDB и MySQL. Redis был выбран в качестве альтернативы memcached.

Немножко о статистике:

Каталог из больше чем 20 миллионов песен. Повседневно около 200 тысяч просмотров страниц. На территории Объединенных Штатов около 300 тысяч людей пользуются сервисами плана в течение месяца.

Google (поисковая система)

Использованные спецтехнологии:

Google использует уйма языков программирования. Так как создатель Python работал одно время в Google, легко предположить, что и данный язык программирования применяется. Так и есть. На Python написана часть YouTube и поискового движка, а также много других компонентов. Лаконично, применяется LevelDB как основная система управления базами данных. Также применяется Closure для работы с JavaScript, это своего р

Источник: programmingmaster.ru

Оставить комментарий
Форум phpBB, русская поддержка форума phpBB
Рейтинг@Mail.ru 2008 - 2017 © BB3x.ru - русская поддержка форума phpBB