Куда движутся технологии In-Memory

[MikeR]

на данный момент многие компании находятся уже на стадии планирования внедрения технологии In-Memory. Благодаря тестовым установкам уже 16% респондентов знакомятся с новыми приложениями для оценки потенциала данной технологии в их конкретной бизнес среде. Почти четверть компаний (23%) запланировали приобретение баз данных In-Memory и включили их в свою стратегию в области ИТ. Хотя это не является безоговорочным шагом к внедрению технологии, тем не менее, это явно свидетельствует о том, что ее применение проходит тестовый режим. Почти одна шестая компаний в настоящее время занимаются анализом задач, которые становится возможным решить при помощи обработки данных в In-Memory.

[EVGL]

Появится в MS Sql Server 2014. Я проходил интересный курс: адаптация программы к In-Memory OLTP. Приходится переписывать массу вещей: http://msdn.microsoft.com/en-us/libr...=sql.120).aspx

[Alex_K]

Я бы поостерегся что-нибудь переписывать до версии как минимум 2016. Именно потому, что с этим самым in-memory уже не первый год дело имею.

[George Nordic]

Пока BigData и InMemory очень плохо совместимы.

BigData - это распределенные слабоструктурированные данные.InMemory - это поколоночные СУБД с сжатием данных.

В общем, я сейчас данными проектами и занимаюсь: в Хадупе собирается инфа, через Hive происходит выборка и упорядочивание основных данных + аналитических срезов в датамарт, которые как раз и затягиваются в InMemory DB (Qlikview). Все работает шустро и в пямяти, но вот если нужна ссылка на исходный документ (проводку, строчку лога от оборудования, подробную информацию по поведению клиента) - тогда уже имейте терпение, запрос идет к BigData. А там уже дело в релевантности (насколько точно хотим получить результат) и в том, насколько данные внутри хорошо структурированы.

С Уважением,
Георгий

[driller]

Видимо не стоить связывать понятия In-Memory, с колоночным типом хранения данных, по крайнем мере HANA может хранить данные как построчно, так и поколоночно.
Ведь колоночно не получится обрабатывать транзакционные данные.

[George Nordic]

Ну и смысл хранить в памяти Row-data?

Смысл поколоночного хранения данных в памяти связан с некоторыми нюансами поведения подобных СУБД, в частности - со вставкой строк.

Таким образом, для решения некоторых задач, в частности, для бизнес-анализа данных (не потоковых и не он-лайн анализ, например он-лайн фрод) логичнее строки оставлять в "классических" СУБД, потом упорядоченно извлекать их в поколоночные. Кстати, даже если поколоночная СУБД будет не in-memory, а на диске, скорость выборки при этом возрастает в десятки раз.

С Уважением,
Георгий

[MikeR]

Было бы интересно услышать о сравнении Qlikview и Power Pivot (Excel 2013).

[George Nordic]

Подобные сравнения делают независимые агенства, типа Gartner или BARC (ex-BI Servay). Последние несколько исследований, включая 2014 года, ясно дают понять, чье решение предпочтительнее.

От себя могу сказать, что у компании Qlik - всего 1 продукт - QlikView. Все. 1 позиция. Поэтому ему уделяется все внимание. У многих других игроков на рынке BI - это далеко не самое приоритетное направление, и отношение к нему соответствующее.

С Уважением,
Георгий