Почему перечисление файлов с помощью DeviceIoControl быстрее в VB.NET, чем в C ++?

Я пытаюсь прочитать Windows Master File Table (MFT) для быстрого перечисления файлов. До сих пор я видел два подхода для этого:

  1. По предложению Джеффри Куперстейн и Джеффри Рихтер с помощью DeviceIoControl
  2. Прямой анализ MFT, представленный в некоторых инструментах с открытым исходным кодом и NTFS Parser Lib

Для моего проекта я сосредоточен на подходе [1]. Проблема, с которой я сталкиваюсь, в основном связана со временем выполнения. Просто для ясности, вот моя система и среда разработки:

  1. IDE — Visual Studio 2013
  2. Язык — C ++
  3. ОС — Windows 7 Профессиональная x64
  4. 32-битные двоичные файлы создаются для кода C ++ и .NET.

проблема

Я сравнил версию, упомянутую в [1] (слегка измененный) с реализацией VB.NET доступно на Codeplex. Вопрос в том, если я раскомментирую заявление в Внутренняя петля время выполнения кода C ++ увеличивается в 7-8 раз. Я не реализовал сопоставление путей в коде C ++ (который доступен в коде VB).

Q1. Пожалуйста, предложите, как улучшить производительность кода C ++.

Задержки для перечисления диска C: \ на моей машине:

  1. C ++ (без комментария во внутреннем цикле) — 21 seconds
  2. VB.NET (с дополнительным кодом соответствия пути) — 3.5 seconds

Для большей наглядности ниже приведены фрагменты C ++ и VB.NET.

C ++

bool FindAll()
{
if (m_hDrive == NULL) // Handle of, for example, "\\.\C:"return false;

USN_JOURNAL_DATA ujd = {0};
DWORD cb = 0;
BOOL bRet = FALSE;
MFT_ENUM_DATA med = {0};

BYTE pData[sizeof(DWORDLONG) + 0x10000] = {0};

bRet = DeviceIoControl(m_hDrive, FSCTL_QUERY_USN_JOURNAL, NULL, 0, &ujd, sizeof(USN_JOURNAL_DATA), &cb, NULL);
if (bRet == FALSE) return false;

med.StartFileReferenceNumber = 0;
med.LowUsn = 0;
med.HighUsn = ujd.NextUsn;

//Outer Loop
while (TRUE)
{
bRet = DeviceIoControl(m_hDrive, FSCTL_ENUM_USN_DATA, &med, sizeof(med), pData, sizeof(pData), &cb, NULL);
if (bRet == FALSE) {
break;
}

PUSN_RECORD pRecord = (PUSN_RECORD)&pData[sizeof(USN)];

//Inner Loop
while ((PBYTE)pRecord < (pData + cb))
{
tstring sz((LPCWSTR) ((PBYTE)pRecord + pRecord->FileNameOffset), pRecord->FileNameLength / sizeof(WCHAR));

bool isFile = ((pRecord->FileAttributes & FILE_ATTRIBUTE_DIRECTORY) != FILE_ATTRIBUTE_DIRECTORY);
if (isFile) m_dwFiles++;
//m_nodes[pRecord->FileReferenceNumber] = new CNode(pRecord->ParentFileReferenceNumber, sz, isFile);

pRecord = (PUSN_RECORD)((PBYTE)pRecord + pRecord->RecordLength);
}
med.StartFileReferenceNumber = *(DWORDLONG *)pData;
}
return true;
}

куда m_nodes определяется как typedef std::map<DWORDLONG, CNode*> NodeMap;

VB.NET

Public Sub FindAllFiles(ByVal szDriveLetter As String, fFileFound As FileFound_Delegate, fProgress As Progress_Delegate, fMatch As IsMatch_Delegate)

Dim usnRecord As USN_RECORD
Dim mft As MFT_ENUM_DATA
Dim dwRetBytes As Integer
Dim cb As Integer
Dim dicFRNLookup As New Dictionary(Of Long, FSNode)
Dim bIsFile As Boolean

' This shouldn't be called more than once.
If m_Buffer.ToInt32 <> 0 Then
Console.WriteLine("invalid buffer")
Exit Sub
End If

' progress
If Not IsNothing(fProgress) Then fProgress.Invoke("Building file list.")

' Assign buffer size
m_BufferSize = 65536 '64KB

' Allocate a buffer to use for reading records.
m_Buffer = Marshal.AllocHGlobal(m_BufferSize)

' correct path
szDriveLetter = szDriveLetter.TrimEnd("\"c)

' Open the volume handle
m_hCJ = OpenVolume(szDriveLetter)

' Check if the volume handle is valid.
If m_hCJ = INVALID_HANDLE_VALUE Then
Console.WriteLine("Couldn't open handle to the volume.")
Cleanup()
Exit Sub
End If

mft.StartFileReferenceNumber = 0
mft.LowUsn = 0
mft.HighUsn = Long.MaxValue

Do
If DeviceIoControl(m_hCJ, FSCTL_ENUM_USN_DATA, mft, Marshal.SizeOf(mft), m_Buffer, m_BufferSize, dwRetBytes, IntPtr.Zero) Then
cb = dwRetBytes
' Pointer to the first record
Dim pUsnRecord As New IntPtr(m_Buffer.ToInt32() + 8)

While (dwRetBytes > 8)
' Copy pointer to USN_RECORD structure.
usnRecord = Marshal.PtrToStructure(pUsnRecord, usnRecord.GetType)

' The filename within the USN_RECORD.
Dim FileName As String = Marshal.PtrToStringUni(New IntPtr(pUsnRecord.ToInt32() + usnRecord.FileNameOffset), usnRecord.FileNameLength / 2)

'If Not FileName.StartsWith("$") Then
' use a delegate to determine if this file even matches our criteria
Dim bIsMatch As Boolean = True
If Not IsNothing(fMatch) Then fMatch.Invoke(FileName, usnRecord.FileAttributes, bIsMatch)

If bIsMatch Then
bIsFile = Not usnRecord.FileAttributes.HasFlag(FileAttribute.Directory)
dicFRNLookup.Add(usnRecord.FileReferenceNumber, New FSNode(usnRecord.FileReferenceNumber, usnRecord.ParentFileReferenceNumber, FileName, bIsFile))
End If
'End If

' Pointer to the next record in the buffer.
pUsnRecord = New IntPtr(pUsnRecord.ToInt32() + usnRecord.RecordLength)

dwRetBytes -= usnRecord.RecordLength
End While

' The first 8 bytes is always the start of the next USN.
mft.StartFileReferenceNumber = Marshal.ReadInt64(m_Buffer, 0)

Else

Exit Do

End If

Loop Until cb <= 8

If Not IsNothing(fProgress) Then fProgress.Invoke("Parsing file names.")

' Resolve all paths for Files
For Each oFSNode As FSNode In dicFRNLookup.Values.Where(Function(o) o.IsFile)
Dim sFullPath As String = oFSNode.FileName
Dim oParentFSNode As FSNode = oFSNode

While dicFRNLookup.TryGetValue(oParentFSNode.ParentFRN, oParentFSNode)
sFullPath = String.Concat(oParentFSNode.FileName, "\", sFullPath)
End While
sFullPath = String.Concat(szDriveLetter, "\", sFullPath)

If Not IsNothing(fFileFound) Then fFileFound.Invoke(sFullPath, 0)
Next

'// cleanup
Cleanup() '//Closes all the handles
If Not IsNothing(fProgress) Then fProgress.Invoke("Complete.")
End Sub

куда fFileFound определяется следующим образом:

Sub(s, l)
If s.ToLower.StartsWith(sSearchPath) Then
lCount += 1
lstFileNames.Add(s.ToLower) '// Dim lstFileNames As List(Of String)
End If
End Sub

куда FSNode & CNode имеет следующую структуру:

//C++ version
class CNode
{
public:
//DWORDLONG m_dwFRN;
DWORDLONG m_dwParentFRN;
tstring m_sFileName;
bool m_bIsFile;

public:
CNode(DWORDLONG dwParentFRN, tstring sFileName, bool bIsFile = false) :
m_dwParentFRN(dwParentFRN), m_sFileName(sFileName), m_bIsFile(bIsFile){
}
~CNode(){
}
};

Заметка — Код VB.NET порождает новый поток (необходимый, поскольку у него есть GUI), тогда как я вызываю функцию c ++ в основном потоке (простое консольное приложение для тестирования).


Обновить

Это была глупая ошибка с моей стороны. DeviceIoControl API работает как положено. Хотя Debug сборка немного медленнее, чем Release строить. Обратитесь к следующей статье:

как-кан-я-увеличение-эффективность-в-карте-поиск-с-ключ-типа-stdstring

0

Решение

Я не запускал ваш код, но поскольку вы говорите, что закомментированная строка — это проблема, проблема, вероятно, заключается в вставке карты.
В коде C ++ вы используете std :: map, которая реализована в виде дерева (отсортировано по ключу, времени доступа log (n)).
В коде VB вы используете словарь, который реализован в виде хэш-таблицы (без сортировки, с постоянным временем доступа).
Попробуйте использовать std :: unordered_map в версии C ++.

1

Другие решения


По вопросам рекламы [email protected]