Скоростное считывание файла

[1daan1]

Имеется код для создания файла:

Код:

  AnsiString fn=Edit1->Text;
  TDateTime t;
  int buf[4096];
  for (int i=0;i     buf[i]=0x33323130;
  FILE *F=fopen(fn.c_str(),"w");
  t=Now();
  for (int i=0;i     fwrite(&buf,sizeof(buf),1,F);
  t=Now()-t;
  fclose(F);
  Label1->Caption=FormatDateTime("hh:mm:ss.zzz",t);

и для считывания файла:

Код:

  AnsiString fn=Edit1->Text;
  TDateTime t;
  int buf[4096];
  FILE *F=fopen(fn.c_str(),"r");
  t=Now();
  for (int i=0;i   {
    fread(&buf,sizeof(buf),1,F);
    //тут должна быть обработка данных, проверка на выход за пределы файла, и т.п. но на первом этапе здесь ничего нет
  }
  t=Now()-t;
  fclose(F);
  Label1->Caption=FormatDateTime("hh:mm:ss.zzz",t);

Первый пример создаёт файл размером 1ГБ и забивает его символами "0123". Второй читает этот файл. Считывание занимает около 40 секунд.
Но:
Total Commander считает md5-сумму этого файла (т.е. считывает этот файл) за 16 секунд.
Что можно сделать для ускорения процесса считывания?
Builder 6, WinXPsp2.
Заранее благодарен.

[Zor]

буфер покрупнее сделай. несколько мегов, например. (только не в стеке  )

[1daan1]

Код:

  int sz=262144*16;   //буфер 16М
  int *buf=new int[sz];
  FILE *F=fopen(fn.c_str(),"r");
  for (int i=0;i     fread(buf,sz*sizeof(int),1,F);
  fclose(F);
  delete[] buf;

Так стало еще медленей, теперь файл считывается больше минуты.
Может нужно использовать какую-нибудь другую функцию?

[oxotnik]

а через TFileStream не проще будет?

[1daan1]

Проще, и даже немножко быстрее (38 секунд), но все равно не то.
Заметил, что на 1М-буфере считывание происходит заметно быстрее, нежели на 16М.

[Zor]

ну раз при 16Мб бруске тормозит - значит уже в систему упирается.
Прогони 2-3 раза - вторая и следующие операции считывания должны пойти сильно шустрее.
Кстати, памяти на компе сколько?

И почему не пользуетесь стандартными open/read/write/close?
// хотя догадываюсь - "нас так учили!" 

[1daan1]

Возможно при 16М упирается в кеш винта. RAM - 2.5 GB, CPU - C2D E6400, HDD - Samsung SP2504C (250 GB SATA). При считывании индикатор активности жесткого диска светится непрерывно, загрузка процессора - пару процентов, да и то, фоновыми процессами.
Следующие операции чтения действительно проходят быстрее (от 6 до 1 секунды, в зависимости от метода чтения), но что-то я сильно сомневаюсь, чтобы мой винт выдавал больше 100 МБ/с. Конечно, 1 ГБ/с с винта было бы неплохо, но так не бывает, во всяком случае пока. Да и программе нужно будет считывать разные файлы, а не один и тот же подряд.

Относительн "нас так учили" - таки да. В свое время я перепробовал разные методы работы с файлом, и остановился на fopen/fread/fwrite/fclose для бинарных и TStringList::LoadFromFile... для текстовых. Хотя для интереса попробовал - read действительно шустрее fread, но на 1 секунду на фоне 32, т.е. незначительно.

BTW: Total Commander считает md5-сумму за 16-17 секунд и во второй, и в третий раз..

[AVC]

> FILE *F=fopen(fn.c_str(),"r");
попробуйте rb

[1daan1]

Пробовал, разницы нет. Очевидно, у меня _fmode равняется O_BINARY по умолчанию.

[Zor]

Total Commander кстати часто использует свои собственные методы в обход системы.
так что делайте дальше - тут вам уже не ускорить.

[Lexa F.]

Ребят, такой вопрос.

Имеется файл (не менее 1000 строк). Нужно считать последнюю строку из него. Через TStringList думаю не рентабельно. Как это сделать с помощью fopen (только не через цикл, может метод какой есть?)

И вообще подскажите наибыстрейший вариант.

[Zor]

Именно через TStringList. Вы будете ну очень сильно извращатся но быстрее сделаете врядли.
Тем более что такого в 1000 строках текста? Это все таки не 100M строк.

[Lexa F.]

Zor, спасибо. Убедили!

[S0mbre]

Но если в файле все строки одинакового размера и этот размер известен заранее, то "рентабельнее", возможно, будет и через fopen/fgets. Перемещаемся на позицию n*(m-1), где n - размер строки, m - количество строк, и потом берем строку по размеру n.
PS. 1000 строк - это конечно не размер...

[Jenia]

можно ведь смотреть файл с конца это будет все равно быстрее