Case #WM_COMMAND
ID = PeekW(@wParam)
Select ID
Case #IDC_BTN1
EndDialog_(hDlg, SendMessage_(GetDlgItem_(hDlg, #IDC_TRB1), #TBM_GETPOS, 0, 0))

Для этого используется EndDialog_ - эта функа уничтожает диалог и вторым ее параметром служит то что вы хотите передать в основной код.
В данном случае это значение ТрэкБара

h = GetDlgItem_(hDlg, #IDC_EDT1)

Первым параметром вставляйте хэндл самого диалога, вторым - ID контрола, который вы задали в редакторе ресурсов

Как его получить в каллбаке? Обратите внимание на следующий код:

Select uMsg
Case #WM_INITDIALOG
MessageBeep_(lParam)

Когда происходит инициализация, окну посылается #WM_INITDIALOG
А то что передаем содержится в lParam

Побалуемся с меню

Исправим файл ресурсов:

#define IDD_DLG1 1000
#define IDC_BTN1 1002
#define IDC_STC1 1001
#define IDC_TRB1 1003
#define IDC_TRB2 1004
#define IDC_EDT1 1005
#define IDC_TAB1 1006
#define IDR_MENU1 10000
#define IDM_dfgdf 10001
#define IDM_yui 10002

IDD_DLG1 DIALOGEX 10,10,435,337
CAPTION "IDD_DLG"
FONT 8,"MS Sans Serif",0,0,0
MENU IDR_MENU1
STYLE 0x10CF0000
BEGIN
CONTROL "IDC_BTN",IDC_BTN1,"Button",0x50010000,291,111,48,36
CONTROL "IDC_STC",IDC_STC1,"Static",0x50000000,24,126,42,21
CONTROL "",IDC_TRB1,"msctls_trackbar32",0x50000000,0,6,150,18
CONTROL "",IDC_TRB2,"msctls_trackbar32",0x50000000,0,28,150,18
CONTROL "",IDC_EDT1,"Edit",0x50010000,150,6,30,12,0x00000200
CONTROL "",IDC_TAB1,"SysTabControl32",0x50018000,114,168,156,126
END

IDR_MENU1 MENU
BEGIN
POPUP "dfgdfgdfg"
BEGIN
MENUITEM "dfgdfgdfgdfg",IDM_yui
END
END

Обновим константы

#IDD_DLG1 = 1000
#IDC_BTN1 = 1002
#IDC_STC1 = 1001
#IDC_TRB1 = 1003
#IDC_TRB2 = 1004
#IDC_EDT1 = 1005
#IDC_TAB1 = 1006
#IDR_MENU1 = 10000
#IDM_dfgdf = 10001
#IDM_yui = 10002

Терерь нам как то надо в каллбэке обрабатывать выбор пункта меню
Добавим в каллбэк это:

Case #WM_COMMAND
Select ID
Case #IDM_yui
debug "Menu clicked!"