Existem diversos artigos na internet explicando como funciona a autenticação via certificado digital, (procure por "SSL Handshake"), mas basicamente (bem basicamente) o cliente envia um Hello para o servidor com algumas informações, o servidor retorna seu certificado e solicita um certificado para o cliente retornando uma lista de certificados que ele aceita, o cliente verifica o certificado do servidor e envia o certificado solicitado, o servidor verifica se o certificado do cliente é valido e se tudo deu certo, a conexão é estabelecida.
O primeiro passo para fazer isso não só no SAP como em qualquer outro lugar, é ter o certificado do cliente e todos os demais da cadeia de certificação em arquivo, provavelmente o responsável pelo cliente ira te enviar o certificado dele (chave publica), se você abrir ele no Windows conseguira exportar facilmente os demais certificados da cadeia para arquivo.
Se tiver um PFX você pode instala-lo no Windows e exportar os cerificados, ou utilizar o Keystore Explorer que é muito melhor. Se quiser gerar um certificado para testes, o XCA é ótimo para isso. Se quiser fazer um debug/teste do handshake você pode utilizar o OpenSSL com a opção S_CLIENT.
De posse dos certificados, primeiro verifique se o SAP está configurado para aceitar certificados, acesse a SMICM, acesse o menu "Ir Para"->Parâmetros->Exibir, depois procure por icm/HTTPS/verify_client na seção HTTPS (SSL) Settings, verifique se o valor dele é 1 ou 2, se estiver com 0 solicite ao basis que altere na RZ10 (a opção de modificar da SMICM não funciona).
Acesse a STRUST, selecione o PSE Serv.SSL padrão, importe todos os certificados. Se for um certificado de NF-e, por exemplo, o PSE deve conter no mínimo 4 certificados, raiz Serasa, intermediário, Serasa e o certificado da empresa. Sim, isso mesmo, dá pra utilizar o mesmo certificado de NF-e para autenticação em outros lugares.
Se for um Self-Signed será necessário inclui-lo no PSE e exporta-lo para o BD:
Pressione F6 para dar um "Distribuir Todos" e CTRL + S para salvar as alterações no PSE.
Volte a SMICM e acesse o menu Administração->ICM->Encerrar Soft->Global:
Pressione Sim para reiniciar o ICM
Acesse a SM30 com atualização para a VIEW VUSREXTID, opção DN, e insira uma nova entrada.
Clique no botão importar e selecione o certificado do cliente.
Informe o usuário SAP que será associado ao certificado, clique em ativo e salve. O flag "Valor hash" vai ficar ativo dependendo do tamanho do valor que está no campo ID Externo, mas não faz diferença no momento.
Pronto o certificado está configurado, agora é só ir na SOAMANAGER e configurar o webservice para autenticação via certificado.
Para testar a autenticação você pode utilizar a extensão RestClient do Firefox ou o complemento ARC do Chrome ou o próprio SoapUI, nesse caso é necessário alterar as preferencia conforme abaixo: