База данных на 1 млн. записей

[svi2009]

Здравствуйте!

Помогите с выбором базы данных за таких условий:
- к-во записей: 1 млн. (в планах до 50 млн.)
- к-во полей: до 30
- информация: текст (списки людей + информация о них);
- задачи: первостепенное - поиск и выборки, второстепенное - редактирование;
- ключевой момент: первостепенный - скорость выборки, второстепенный - размер (в границах 10-30 Гб)
- ОС: Windows
- обслуживание: программа на Delphi;
- локализация: локальная;
- подключение: универсализация (программа + база => скопировал в на другой ПК и запустил без дополнительных настроек и драйверов)

На сегодня проработал 2 варианта:
1) NexusDB - импортнул 300 тыс. записей, проиндексировал по Фамилии
плюс - неплохая скорость выборки на 300 тыс. записях (точный запрос "=" - порядка 10 с., условный "like" - порядка 30 с.) (норма ...)
минус - база уже переваливает за 3 Гб, т.е. на 50 млн. записях это будет порядка 500 Гб (перебор ...)

2) SQLite - импортнул 1 млн. записей, проиндексировал по Фамилии
плюс - небольшой размер базы (около 600 Мб), т.е. на 50 млн. записях это будет порядка 30 Гб (норма ...)
плюс - отличная скорость выборки при точном запросе ("=") - 3-5 с
(супер ...)
минус - при условной выборке ("like") скорость неприемлемая - порядка 5 мин. (перебор ...)

База формируется из txt-файла (экспорт из БД Cronos).

Может я чего-то не учел в SQLite. Под Delphi подключался с помощью DISQLite3 v2.4.5 from Yunga (

You do not have permission to view link please Вход or Регистрация

), импортировал txt-файл SQLite Maestro v12.1.0 в ANSI кодировке (кирилица)

Помогите советом или подскажите еще варианты реализации задачи.

 

[МарковаЕкатерина]

А чем не подходят более известные варианты? Например MS SQL?

 

[master_devel]

ORACLE без вариантов. PL SQL паскалеподобный язык. Очень прост в изучении.

 

[moldovanin]

Я бы поеркомендовал ms sql, последние года явно доганяет Oracle, а может и обогнали уже. На мега обьемах не работал, но 50 лямов потянет точно

 

[BorovikSV]

если руки и голову приложить - то NexusDB самый лучший вариант.
Год назад пришлось с >200 млн.записей столкнуться.
Размер базы приближался к террабайту. После реализации более продуманной структуры базы и самостоятельной реализации некоторых индексов и типов некоторых полей (благо Nexus позволяет свои примочки использовать) размер БД уменьшился в раз 20. Средняя скорость выборки по "like" - в районе секунды (Благодаря своему индексу)

 

[maxim220]

Заметил что вопрос задается регулярно. Рекомендую MS SQL Server. и про настройку индексов не забывать и.... память на сервер поставить на 2 Гб, а 16 хотя бы.

 

[Misha_T]

На теперешнем железе - любая потянет
лучшая база - та, которую ты сам лучше знаешь, кривыми руками можно уложить хоть оракл хоть MSSQL
у меня работала база с > 100 млн на Firebird на стареньком сервере (сейчас ноут у меня мощнее )
более 50 активных пользователей, полёт нормальный без тормозов.

 

[dalx]

самая быстрая в простых запросах - мускуль. (к тому же легковесная и не гемморойная). за ней - я бы выбрал постгрейс.
оракл - тяжеловат... и миллион записей 50 миллионов - это вобщем то еще не её "хлеб" .

 

[МарковаЕкатерина]

<есплатная версия MS SQL - идеальный вариант.

 

[qpash]

Не знаю, у меня SQL 2012 и нет проблем с такими объемами

 

[nike1968]

Oracle для больших объемов.

 

[МарковаЕкатерина]

Oracle для больших объемов.

1 млн. записей - разве это большой объём?

 

[azl]

Думаю, Firebird справится с задачей.

 

[S_Gur]

Неправильная постановка вопроса. Зависит от правильной разработки структуры и индексов. 30 полей в записи - сразу возникают сомнения в правильной нормализации.

 

[azl]

Да ничего там не возникает. Обычный справочник, об этом сказано в первом посте.

 

[KZ_3D]

The ORACLE is a perfect solution for this case.

 

[IPS]

Фаинберн - без каких либо вопросов справляется, стоит на работе, около 600 пользователей каждый день работают. MS SQL притормаживает.

 

[S_Gur]

Надо очень постараться, чтобы база на 1 000 000 записей притормаживала на MS SQL Server

 

[Eidos]

Oracle - это решение для больших данных!

 

[йцукеурщл]

оракл стоит столько сколько не заработает данное ПО
лям записей вытянет и бесплатная БД от микрософт

 

[МарковаЕкатерина]

оракл стоит столько сколько не заработает данное ПО
лям записей вытянет и бесплатная БД от микрософт

Она и больше вытянет, проверено неоднократно.

 

[Alexsob]

ORACLE штука весьма хорошая, но если записей миллион-другой, то можно обойтись и FireBird.
Если же перспективы роста данных большие, если развернутая логика обработки данных, которую недурно бы разместить на сервере, то "большие" СУБД, конечно же, вне конкуренции. Поработав на Oracle, начиная ваять даже маленькое приложение в небольшой СУБД, понимаешь, что не хватает многих фишек. Хотя у Firebird также есть хранимые процедуры и триггеры, но PL/SQL все-таки покруче будет.

 

[werful]

Не знаю, по специфики работы, приходится иметь дело с большими объемами данных, использую mysql и все отлично работает

 

[fd00ch]

сделать можно и с SQLite
а для быстрого like использовать FTS от того же DI