Jump to content
  • 0

Как хранить большие объёмы информации?

virus-07

Asked by virus-07,

 Share

Question

virus-07 Explorer

virus-07

Posted
Posted

Собственно, для меня является очевидным, что, к примеру, если на сайте будут большие объёмы информации, то их надо как-то хранить. Например, статьи. БД для этого не подойдёт. Следует использовать xml?

Если не затруднит, напишите вкратце теорию и практику, хотя бы схематично, хранения и использования информации.

Заранее большое спасибо.

P.S. с этим вопросом яндекс мне не помог. спорить не буду, может мои запросы были кривые.

Link to comment
Share on other sites

14 answers to this question

Recommended Posts

  • 0
stars Explorer

stars

Posted
Posted

Что значит большой? больше 5 мегабайт чистого текста статьи? Если да то безусловно консервируете архиватором и делаете на сайте списками архив статей, ибо страницы даже если не касаться проблем с хранение более 5 мб это уже не здорово... Если же меньше то проблем в принципе нету, тут возникает другой вопрос насколько большая таблица будет? У меня вот был средненький сервер и он реально стал лагать когда в базе было за 1.3кк строк с текстами однако и это удалось обойти рядом настроек и в последствии новым сервером...

Link to comment
Share on other sites
  • 0
arez Explorer

arez

Posted
Posted

Какие файлы? Вы о чем? Как вы будете индексировать, оптимизировать, делать выборки, править и искать по плоским файлам? Текст нужно хранить в БД (5мб на статью это копейки), современные БД могут обрабатывать колосальные объемы информации, не будет хватать MySQL переходите на Oracle, не хватает одной БД переходите на кластер. Для картинок и видео полно CDN сетей, для начала вам хватит место на бесплатном Google CDN, потом Amazon S3, Akamai, CacheFly etc.

Link to comment
Share on other sites
  • 0
rus Explorer

rus

Posted
Posted
  arez said:
Какие файлы? Вы о чем? Как вы будете индексировать, оптимизировать, делать выборки, править и искать по плоским файлам?

точно так же как и в бд. файлы работают быстрее чем mysql... тот же postgresql быстрее будет.

Link to comment
Share on other sites
  • 0
arez Explorer

arez

Posted
Posted (edited)
  Quote
точно так же как и в бд. файлы работают быстрее чем mysql... тот же postgresql быстрее будет.

1. Привидите пример индекса по плоскому файлу, а потом пример того как он может быть быстрее индекса реляционной СУБД

2. PostgreSQL это СУБД такая же как и MySQL, быстрее она или нет понятие субъективное. К чему вы её тут привели вообще не понятно. Я тоже много красивых слов знаю и поэтому Cassandra быстрее Oracle :) а MongoDB так вообще всех порвет.

Edited by arez
Link to comment
Share on other sites
  • 0
rus Explorer

rus

Posted
Posted (edited)
  arez said:
1. Привидите пример индекса по плоскому файлу, а потом пример того как он может быть быстрее индекса реляционной СУБД

2. PostgreSQL это СУБД такая же как и MySQL, быстрее она или нет понятие субъективное. К чему вы её тут привели вообще не понятно. Я тоже много красивых слов знаю и поэтому Cassandra быстрее Oracle :) а MongoDB так вообще всех порвет.

1) некогда мне тут примерами раскидываться когда люди уже все написали за меня.

2) хоть mysql, хоть postgresql - хранят инфу в файлах.

З.Ы. для данного случая ТС не уточнил на сколько большие объемы инфы будут, для каждого эти понятия разные. а по поводу того что будет быстрее работать, так это еще ведь зависит от того каким подходом ты воспользуешься и какое изначальное тз, ведь при написании запросов их еще можно и оптимизировать, а если еще и кэшированием воспользоваться, так это ж вообще лепота! тут конечно mysql будет рулевым.

Edited by rus
Link to comment
Share on other sites
  • 0
arez Explorer

arez

Posted
Posted
  Quote
1) некогда мне тут примерами раскидываться когда люди уже все написали за меня.

"Вывод из сравнения можно сделать такой: без учета времени на открытие файла/соединение с БД, поиск средствами php по данным, находящимся в оперативной памяти, осуществляется в среднем в два раза быстрее, чем средствами MySQL по данным, находящимся в БД."

Ага, только "Без учета и средствами php", еще там тестируется просто поиск. Ну да ладно это все не важно.

  Quote
2) хоть mysql, хоть postgresql - хранят инфу в файлах.

Ну в общем то хранить больше негде :P в конечном итоге вопрос лишь заключается в том на сколько ваш алгоритм доступа будет быстрее и универсальние чем тот что уже написан до вас :) В любом случаи не думаю что автор топика способен написать алгоритм доступа лучше чем это сделали разработчики какой нибудь СУБД.

Link to comment
Share on other sites
  • 0
Vlad Explorer

Vlad

Posted
Posted

Что-то сомневаюсь, что так сильно можно ужать музыкальные файлы, в том же mp3 уже сжатие применяется, при сжатии копейки выиграешь разве что. Можно конечно битрейт уменьшить и моно поставить, но это же ё-моё.

Link to comment
Share on other sites
  • 0
virus-07 Explorer

virus-07

Posted
  • Author
Posted (edited)

Признаться, не ожидал такой активности. Очень удивлён. В первую очередь хочу поблагодарить всех отписавшихся: спасибо что не поленились расписать что-как.

Вообще не планировал сильно большие объёмы, в пределах 5-10мб. Знания о св-вах бд лишь поверхностные. Не думал, что они подойдут для хранения таких объёмов.

А как обстоит дело с разделением информации на разные БД? В каких случаях имеет смысл заводить несколько баз и сильно ли усложняется процесс обслуживания?

Edited by virus-07
Link to comment
Share on other sites
  • 0
Vlad Explorer

Vlad

Posted
Posted

Тот же MySQL может спокойно хранить несколько мегабайт в записи, это для него вполне по плечу. PostgreSQL посерьезнее будет, есть примеры хранения петабайт в этой БД. Так что мне кажется надо использовать именно БД, а уж какую решать по имеющейся информации.

Link to comment
Share on other sites
  • 0
arez Explorer

arez

Posted
Posted
  Quote
А как обстоит дело с разделением информации на разные БД? В каких случаях имеет смысл заводить несколько баз и сильно ли усложняется процесс обслуживания?

В тех случаях когда на исполнение одного запроса к БД тратится большая часть серверного времени.

В большинстве случаев вообще не затрагивает вас, что кластер из нескольких БД что одна БД это единый объект, для вашего приложения все прозрачно. Сейчас технологии облачных вычислений позволяют конечному пользователю просто писать приложение и задумываться о его ресурсах только когда деньги в кошельке кончаются. :)

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to question listing

  • Обсуждения

    • Nikker
      Дизайн сайтов, landing page, логотипов, баннеров, шапок | Высокое качество, по хорошей цене

      By Nikker · Posted

      Актуальные контакты: Telegram: @Nikker_web E-Mail:   tarasevich.email@gmail.com Портфолио https://www.behance.net/d4d4186e Разрабатываю дизайн групп в соц сетях, сайтов, приложений, другой дизайн под заказ    
    • Nikker
      Брендовый дизайн в социальных сетях

      By Nikker · Posted

      Актуальные контакты: Telegram: @Nikker_web E-Mail:   tarasevich.email@gmail.com   Разрабатываю дизайн групп в соц сетях, сайтов, приложений, другой дизайн под заказ   Портфолио https://www.behance.net/d4d4186e
    • Mondeus
      Вёрстка футера на движке Xenforo

      By Mondeus · Posted

      Доброго всем времени суток. Прошу помощи. Научите принципу изменения футера. Движок Xenforo. Версия 2.2.10. Стиль дефолтный. Что именно нужно в итоге на фото примере. Мой шаблон app.footer less имеет следующее значение.  .p-footer { .xf-publicFooter(); a { .xf-publicFooterLink(); } } .p-footer-inner { .m-pageWidth(); .m-pageInset(); padding-top: @xf-paddingMedium; padding-bottom: @xf-paddingLarge; } .p-footer-row { .m-clearFix(); margin-bottom: -@xf-paddingLarge; } .p-footer-row-main { float: left; margin-bottom: @xf-paddingLarge; } .p-footer-row-opposite { float: right; margin-bottom: @xf-paddingLarge; } .p-footer-linkList { .m-listPlain(); .m-clearFix(); > li { float: left; margin-right: .5em; &:last-child { margin-right: 0; } a { padding: 2px 4px; border-radius: @xf-borderRadiusSmall; &:hover { text-decoration: none; background-color: fade(@xf-publicFooterLink--color, 10%); } } } } .p-footer-rssLink { > span { position: relative; top: -1px; display: inline-block; width: 1.44em; height: 1.44em; line-height: 1.44em; text-align: center; font-size: .8em; background-color: #4682B4; border-radius: 2px; } .fa-rss { color: white; } } .p-footer-copyright { margin-top: @xf-elementSpacer; text-align: center; font-size: @xf-fontSizeSmallest; } .p-footer-debug { margin-top: @xf-paddingLarge; text-align: right; font-size: @xf-fontSizeSmallest; .pairs > dt { color: inherit; } } @media (max-width: @xf-responsiveMedium) { .p-footer-row-main, .p-footer-row-opposite { float: none; } .p-footer-copyright { text-align: left; padding: 0 4px; // aligns with other links } }  
    • torsar
      Примеры верстки

      By torsar · Posted

      Нужны сайты с примерами верстки, типа https://css-tricks.com/. Типовые приемы и нестандартные на все случаи жизни. Накидайте ссылок.
    • Katerina23
      Какой тег использовать, чтобы увеличивать число кнопками вверх-вниз?

      By Katerina23 · Posted

      Да, подходит. Спасибо.
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. See more about our Guidelines and Privacy Policy

  I accept