К сожалению, с помощью стандартных объектов automation и OCX, получить хендл нельзя.
В качестве более изящного способа могу предложить реализовать BrowseForFolder через scripting (например на jscript), а вызов диалога выбора папки через Microsoft Script Control.
В общих чертах это будет выглядеть так:
<div class='CALtop'>C/AL</div><div class='CAL'>
CREATE(MsScriptControl);
Str := 'function browse()';
Str += '{';
Str += ' var WSHShellApp = WScript.CreateObject("Shell.Application");';
Str += ' var SelectedItem = WSHShellApp.BrowseForFolder(0, Prompt, BrowseInfo, StartFolder);';
MsScriptControl.AddCode(Str);
MESSAGE('Ваш путь: %1',FORMAT(MsScriptControl.Run('browse()',SafeArray)));
</div>