Скорость поиска файла

[Veseloff]

К PHP вопрос отношения, в общем-то, не имеет, но более подходящего раздела не придумал (в "Для начинающих" как-то стыдно постить).

Ситуация такая: есть сайт, на этом сайте есть N пользователей, у каждого пользователя есть аватарка. Аватарки хранятся, допустим, в папке /avatar с именами вида {айдишник_юзера}.jpg. Где-то слышал, что при достаточно большом N (и, как следствие, большом количестве файлов в папке с аватарами), файлы стоит разбивать по папкам (типа /avatar/1, /avatar/2 и так далее), храня в каждой папке не очень много файлов. Причиной тому, якобы, является скорость нахождения файлов на жестком диске, т.е. если разбить 10000 файлов поровну на 10 папок, то нужный файл найдётся быстрее, чем если все файлы хранятся в одной директории. Ересь или всё-таки правда? В данный момент на сервере ext3 и в первую очередь интересно узнать про неё. Ну и про другие файловые системы тоже, если кто знает.

[Эдмунд Шклярский]

Вообще то, ты неправильно продумал систему аватаров. Гляди:

есть таблица юзеров:

id
username
password
avatar

В поле аватар пишется название файла.

И, кстати, если ты думаешь, что преодолеешь порог в 1000 юзеров, то советую аватары хранить в базе

[Veseloff]

И где профит? Такое ощущение, что вопрос не понят.

[rash]

К PHP вопрос отношения, в общем-то, не имеет, но более подходящего раздела не придумал (в "Для начинающих" как-то стыдно постить).

Ситуация такая: есть сайт, на этом сайте есть N пользователей, у каждого пользователя есть аватарка. Аватарки хранятся, допустим, в папке /avatar с именами вида {айдишник_юзера}.jpg. Где-то слышал, что при достаточно большом N (и, как следствие, большом количестве файлов в папке с аватарами), файлы стоит разбивать по папкам (типа /avatar/1, /avatar/2 и так далее), храня в каждой папке не очень много файлов. Причиной тому, якобы, является скорость нахождения файлов на жестком диске, т.е. если разбить 10000 файлов поровну на 10 папок, то нужный файл найдётся быстрее, чем если все файлы хранятся в одной директории. Ересь или всё-таки правда? В данный момент на сервере ext3 и в первую очередь интересно узнать про неё. Ну и про другие файловые системы тоже, если кто знает.

Субъективно (без замеров и вообще обоснований) мне кажется, что количество файлов в папке влияет только на скорость просмотра этой папки (получения её содержимого), а если обращение происходит по заранее известному полному пути, то нет никакой разницы.

[LunatiK]

И, кстати, если ты думаешь, что преодолеешь порог в 1000 юзеров, то советую аватары хранить в базе

И на страницу с 10-ю - 20-ю постами делать по 10 - 20 лишних запросов к базе ? нет уж увольте. Зачем так базу то нагружать ?

Делайте в одной папке кучу файлов и не заморачивайтесь, выж всё древо выводить не будете, а по одному дёргать с конкретным путём.

[Эдмунд Шклярский]

И на страницу с 10-ю - 20-ю постами делать по 10 - 20 лишних запросов к базе ? нет уж увольте. Зачем так базу то нагружать ?

Делайте в одной папке кучу файлов и не заморачивайтесь, выж всё древо выводить не будете, а по одному дёргать с конкретным путём.

Дружок, поверь, можно одним запросом получить и аватар и посты и все остальное. Так что проблемы не вижу

[rus]

А мне кажется Veseloff правильно мыслит.

Если логично, то получается так что при обращении к дирректории в которой много файлов происходит большая выгрузка памяти, пока прочитает имена, расширение, пока обработает, пока занесет в буфер, потом выдаст только результат...

Может конечно и ересь, но мне думается так.

Да и вообще, не логично все в куче хранить.

[vvsh]

Так он же указывает имя файла, оно проверит, есть ли такой файл, а если нет, то скажет что нет аватарки, тут хоть миллион файлов, на скорость никак влиять не будет...

[LunatiK]

Дружок, поверь, можно одним запросом получить и аватар и посты и все остальное. Так что проблемы не вижу

Да возможно я с этим погорячился, но всё равно работая по вашей схеме нагрузка на сервер выше, в файлах всё же проще и быстрее ... А так делайте как хотите, благо мелочь такую переделать не долго в случае чего.

P.S. Эдмунд Шклярский, я вам не «дружок», мы с вами на брудершафт не пили.

[Эдмунд Шклярский]

Вы еще скажите, что файлы лучше базы. А вы для меня "дружок", т.к я вас старше в разы. Судя по википедии, мне 54 года

[rash]

Вы еще скажите, что файлы лучше базы.

Для статики, возможно, и лучше.

Кстати, не знал, что возраст дает право на фамильярность.

[LunatiK]

Вы еще скажите, что файлы лучше базы. А вы для меня "дружок", т.к я вас старше в разы. Судя по википедии, мне 54 года

Я бредовые холивары не развожу, я говрю не абстрактно, а конкретно про данный случай.

Про возраст: в сети нет возраста, википедия - не официальный источник, но даже если вы мне паспорт покажите, это ничего не поменяет. года никому не дают никаких прав, если тока право на достойную старость

[Эдмунд Шклярский]

Возможно вы и правы.

[vvsh]

Вы еще скажите, что файлы лучше базы.

я вообще считаю абсурдом хранить картинки в базе, зачем тогда файловая система ваще нужна?

может ты еще скажешь, что скрипты в базе хранить надо?!

Edited December 9, 2009 by vvsh

[Иван Шумов]

Так , прекратили балаган, пока не начал раздавать молчанки. По теме - разумеется аватары стоит хранить в файловой системе. теперь на счет количества. в ext-образных (никсовых короче) FS к каждой папке есть файл с перечнем файлов и директорий в нем. соответственно встает вопрос о

1) количестве файлов (надеюсь у вас не будет 100 000? )

2) выставлен ли срок кэширования для этих файлов ( может клиенту и не надо часто лазать на сервак - пусть из браузерного кэша получает )

3) часто ли заливаются аватары на сервер? (часто ли изменяется этот файл со списком ваших аватар)

[Dimitry Wolotko]

Недавно реализовывал систему, подошёл следующим образом.

Просто накидаю структуру, думаю всё будет понятно.

..123

/1234567890.mp4

/1230987654.mp4

...qwe

/qwertyuiop.mp4

/qweasdzxc.mp4

123 и qwe — каталоги.

Генерируется имя файла, кидается в каталог. Если каталога нет, то он создаётся.

может ты еще скажешь, что скрипты в базе хранить надо?!

Есть целый ряд ситуаций, когда такой финт ушами имеет право быть.

[LunatiK]

Недавно реализовывал систему, подошёл следующим образом.

Просто накидаю структуру, думаю всё будет понятно.

..123

/1234567890.mp4

/1230987654.mp4

...qwe

/qwertyuiop.mp4

/qweasdzxc.mp4

123 и qwe — каталоги.

Генерируется имя файла, кидается в каталог. Если каталога нет, то он создаётся.

Есть целый ряд ситуаций, когда такой финт ушами имеет право быть.

хех, любопытно ... запишем в блокнотик на память

[Fenix]

Вы еще скажите, что файлы лучше базы. А вы для меня "дружок", т.к я вас старше в разы. Судя по википедии, мне 54 года

А судя по правде тебе 14 лет.

[Veseloff]

Большое всем спасибо, учту на будущее все советы.

Есть целый ряд ситуаций, когда такой финт ушами имеет право быть.

А вот интересно в каких именно случаях это рационально? Я один раз встречал такое, но так и не понял зачем это было сделано.

[AMD]

Это первым делом удобно.

Если логично, то получается так что при обращении к дирректории в которой много файлов происходит большая выгрузка памяти, пока прочитает имена, расширение, пока обработает, пока занесет в буфер, потом выдаст только результат...

Может конечно и ересь, но мне думается так.

Да и вообще, не логично все в куче хранить.

Тоже верно.

Но если писать полный путь до файла, то выгрузки не будет.

[vvsh]

Но если писать полный путь до файла, то выгрузки не будет.

что я и говорил, это если бы вы читали директорию, то разность со скоростью в папке с 10 и 100000 файлами была бы большая

Edited December 10, 2009 by vvsh