Verzeichnis effektiv durchsuchen

[Folllast]

Hallo,

ich baue ein Programm, dass in einem Verzeichnis nach neuen, geänderten Dateien sucht.
In dem Verzeichnis liegen ziemlich viele Dateien, mit vielen verschiedenen Dateitypen ind vielen Unterordnern. Es sind alleine 55.000 PDF-Dateien.
Mein Plan aktuell ist so, das mit

Code: Select all

loop files ...... *.pdf

alle PDF-Dateien durchgegangen wird und dann per

Code: Select all

FileGetTime

das Änderungsdatum abzufragen und nur nach neuen zu filtern.
Der Ordner liegt ausserdem im Neetzwerk, wir haben aber eine gute Anbindung. Der 1. Druchlauf für die 55.000 Dateien hat 20 Minuten gedauert.

Gibt es eine Möglichkeit, das ganze effektiver zu gestalten? Eventuell nur Dateien Jünger als 7 Tage zu durchlaufen, oder eine Komplette Verzeichnisstruktur inklusive Datum abzufragen?

[BoBo]

Die Strategie dürfte dieselbe sein, wie sie für inkrementelle Backups angewandt wird. Da sollte sich doch was finden lassen?

https://duckduckgo.com/?q=site%3Aautohotkey.com+%22incremental+backup

Tatsächlich wäre auch eine Consierge-Lösung möglich, also ein Eingangsverzeichnis, in welchem ausschließlich Neuzugänge indexiert werden.
Stellt sich allerdings die Frage wie du Abgänge erfassen möchtest - ein Mitternächtlicher Inventarisierungslauf?

Was machst du anschließend mit der neuen Erkenntnis/den erhobenen Daten?

[just me]

Moin,

eine Ordnerstruktur mit > 55.000 Dateien auf einem Netzlaufwerk ist ein Problem. Vielleicht können externe Tools schneller Ergebnisse liefern.

FileGetTime brauchst Du aber nicht. Loop (Dateien & Ordner) liefert dafür ja die internen Variablen A_LoopFileTimeAccessed, A_LoopFileTimeCreated und A_LoopFileTimeModified

[Folllast]

Ich möchte eigentlich nur regelmäßig wissen
1. neu dazu gekommen ist (in den letzten 7 Tagen, da ich nicht jeden Tag schauen kann)
2. zu welcher .dxf noch keine .pdf erstellt ist.
A_LoopFileTimeCreated ist cool und spart Zeit.

[effel]

ich baue ein Programm, dass in einem Verzeichnis nach neuen, geänderten Dateien sucht.

vielleicht hilft das?
https://www.autohotkey.com/boards/viewtopic.php?f=6&t=8384

[Folllast]

Es sind übrigens insgesamt 700.000 Dateien die durchsucht werden. Ich bin also froh, das es "nur" 20 Minuten dauert.

[jNizM]

Moin,
da ich nicht weiß wie effektiv bei sowas AutoHotkey ist, würde ich dir sogar eher anraten, ein externes Tool zu benutzen.

z.B. FolderChangesView by NirSoft (zeigt aber nur live die (Ver-)Änderungen an)

[haichen]

FolderChangesView kann die Dateiänderungen auch automatisch z. B. alle 30 s in eine Datei schreiben. Menu: Options > Choose Base Folder - F9

[BoBo]

700k files (AKA, der feuchte Traum eines jeden Speicherplatzproduzenten)?! Ihr seid ja schlimmer als die NASA. Euch möchte man eher nicht hinterher räumen müssen

[jNizM]

700k files (AKA, der feuchte Traum eines jeden Speicherplatzproduzenten)?! Ihr seid ja schlimmer als die NASA. Euch möchte man eher nicht hinterher räumen müssen

Privat Ja
Aber je nach Firmengröße, sehe ich da nichts schlimmes

[Kobaltauge]

Für solche Fälle verwende ich immer PowerShell. Das ist echt mächtig. Guck dir mal diesen Post an https://stackoverflow.com/q/19774097/9307482 wenn du AHK programmieren kannst, dann sollte die Syntax verständlich sein. =)

[Kobaltauge]

Unter Windows sind viele Dateien in einem Verzeichnis keine "schöne" Lösung. Besonders bei den Datenübernahmen im CAD/PLM Bereich. =)
Was ich empfehlen würde ist, dass Ihr eine Verzeichnisebene dazwischen schiebt. Ich vermute, dass Eure Dateibenennungen immer die gleiche Struktur und Länge haben. Man könnte als ein Verzeichnis mit dem Namen der Daten ohne die letzten 3 Stellen erstellen und dann alle Daten die dem Verzeichnisnamen <Name???> folgen dort reinpacken. Und da man das Pferd von hinten aufzäumt, könnte man die 3 Stellenregel beibehalten.

Z.B. Dateien K47110815.dxf K47110815.pdf U123456789.dxf

c:\K47\K47110\K47110815.dxf
c:\K47\K47110\K47110815.pdf
c:\U\U123\U123456\U123456789.dxf