Wenn schon, dann:
GetWindowRect(m_hwndToolbar,&rcButton);
TPMPARAMS tpm;
tpm.cbSize = sizeof(tpm);
tpm.rcExclude = rcButton;
::TrackPopupMenuEx(hMenu, 0, pt.x, pt.y, m_pContainer->hwnd, &tpm);
Das sieht dann aber so aus wie im Screenshot, also auch suboptimal.
Man muss wohl das RECT von dem Button angeben, nicht das von der Toolbar.
Nachtrag: Die anderen menus sehen auch nicht besser aus: