J'utilise dogtail (https://fedorahosted.org/dogtail/) pour faire de telles choses, en utilisant cela, j'ai créé un cadre de test automatisé pour mon application Linux (Ubuntu). Ce cadre clique sur les boutons et les tape dans les champs de texte.
voir l'exemple gedit, https://fedorahosted.org/dogtail/browser/examples/gedit-test-utf8-procedural-api.py
Donc, utilisez simplement la queue de chien, par exemple
dogtail.rawinput.click(100, 100)
Je peux vous conseiller PyAutoGUI, il permet de contrôler complètement la souris et le clavier et d'obtenir des captures d'écran et même vous pouvez localiser des images à l'intérieur de l'écran (comme :où est le bouton ?), très utile pour automatiser les clics de manière dynamique. Cela fonctionne pour Windows, macOS et Linux.
Par exemple :
>>> import pyautogui
>>> screenWidth, screenHeight = pyautogui.size()
>>> pyautogui.moveTo(screenWidth / 2, screenHeight / 2)
Consultez la page d'introduction.