Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Кодекс Охотника. Книга IX
9. Кодекс Охотника
Фантастика
:боевая фантастика
,городское фэнтези
,попаданцы
.
5.00
рейтинг книги
Кодекс Крови. Книга VII
7. РОС: Кодекс Крови
Фантастика
:боевая фантастика
,попаданцы
,аниме
.
5.25
рейтинг книги
Я Гордый. Часть 4
4. Стальные яйца
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Изгои
5. Глэрд
Фантастика
:фэнтези
,боевая фантастика
.
5.00
рейтинг книги
Технарь
1. Технарь
Фантастика
:космическая фантастика
,попаданцы
.
7.13
рейтинг книги
Личный аптекарь императора. Том 6
6. Личный аптекарь императора
Фантастика
:городское фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Перешагнуть пропасть
1. Перешагнуть пропасть
Фантастика
:боевая фантастика
,космическая фантастика
.
8.38
рейтинг книги
Двойник короля 13
13. Двойник Короля
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Черный рынок
6. Фронтир
Фантастика
:боевая фантастика
,космическая фантастика
,космоопера
.
5.00
рейтинг книги
Практик
5. Ушедший Род
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Адвокат Империи 14
14. Адвокат империи
Фантастика
:городское фэнтези
,аниме
,попаданцы
.
5.00
рейтинг книги
Язычник
5. Варяг
Приключения
:исторические приключения
.
8.91
рейтинг книги
Последний Паладин. Том 4
4. Путь Паладина
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Железный Воин Империи
1. Железный Воин Империи
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.25
рейтинг книги
Родословная. Том 2
2. Линия крови
Фантастика
:городское фэнтези
,аниме
,фэнтези
.
5.00
рейтинг книги
Лекарь Империи 10
10. Лекарь Империи
Фантастика
:городское фэнтези
,боевая фантастика
,аниме
,попаданцы
.
5.00
рейтинг книги
Курс 1. Декабрь
4. Маркатис
Фантастика
:аниме
,фэнтези
,сказочная фантастика
.
5.00