Grafische Elemente in GUI-Technologien - Versionsgeschichte

Matilk am 22. Dezember 2022 um 14:21 Uhr

2022-12-22T14:21:54Z

← Nächstältere Version		Version vom 22. Dezember 2022, 14:21 Uhr
Zeile 1:		Zeile 1:
	'''Deutsche Version''' \| [[~~Grafical_Elements_in_GUI_Technologies~~/en\|English Version]]		'''Deutsche Version''' \| [[Graphical_Elements_in_GUI_Technologies/en\|English Version]]
	= Einleitung =		= Einleitung =
	Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.		Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.

Matilk: /* Bild suchen */ link to VNC

2022-12-22T14:05:34Z

Bild suchen: link to VNC

← Nächstältere Version		Version vom 22. Dezember 2022, 14:05 Uhr
Zeile 49:		Zeile 49:
	\|}		\|}
	Auch wenn eine Anwendung dasselbe Element anzeigt, kann es sein, dass es im Screenshot nicht jedes Mal Pixel für Pixel identisch auftaucht. Um Ungenauigkeiten durch diesen Effekt auszugleichen gibt es verschiedene Parameter, die für die Suche gesetzt werden können. Im Kontextmenü eines Elements können Sie einen Editor zum Ändern dieser Parameter öffnen (''Locator (Image Search) Parameters...''). Hier können Sie zum Beispiel festlegen, wie stark das Referenzbild vom Original abweichen darf oder nur einen Graustufen- der Schwarz-Weiß-Vergleich machen lassen.		Auch wenn eine Anwendung dasselbe Element anzeigt, kann es sein, dass es im Screenshot nicht jedes Mal Pixel für Pixel identisch auftaucht. Um Ungenauigkeiten durch diesen Effekt auszugleichen gibt es verschiedene Parameter, die für die Suche gesetzt werden können. Im Kontextmenü eines Elements können Sie einen Editor zum Ändern dieser Parameter öffnen (''Locator (Image Search) Parameters...''). Hier können Sie zum Beispiel festlegen, wie stark das Referenzbild vom Original abweichen darf oder nur einen Graustufen- der Schwarz-Weiß-Vergleich machen lassen.

			Bild-Locator werden auch in der [[VNC_Plugin_Reference/en#Locators\|Dokumentation zum VNC-Plugin]] genauer erklärt.

	=== Text suchen ===		=== Text suchen ===

Matilk: /* Elemente */ Relative Elemente

2022-12-22T13:27:47Z

Elemente: Relative Elemente

← Nächstältere Version		Version vom 22. Dezember 2022, 13:27 Uhr
Zeile 59:		Zeile 59:
	== XPath-Elemente ==		== XPath-Elemente ==
	Im Drehbuch können auch Elemente mit XPath definiert werden. Dadurch kann einem Pfad quasi ein Name zugewiesen werden. Dies trägt zum einen zur besseren Lesbarkeit des Tests bei, zum anderen können Pfade so einfacher ausgetauscht werden. Elemente, die so gefunden werden, sind genauso echte Technologie-Elemente wie wenn man den Pfad direkt am Baustein verwendet, das heißt mit ihnen können alle Aktionen ausgeführt werden, die für die Technologie möglich sind.		Im Drehbuch können auch Elemente mit XPath definiert werden. Dadurch kann einem Pfad quasi ein Name zugewiesen werden. Dies trägt zum einen zur besseren Lesbarkeit des Tests bei, zum anderen können Pfade so einfacher ausgetauscht werden. Elemente, die so gefunden werden, sind genauso echte Technologie-Elemente wie wenn man den Pfad direkt am Baustein verwendet, das heißt mit ihnen können alle Aktionen ausgeführt werden, die für die Technologie möglich sind.

			== Relative Elemente ==
			Alle oben genannten Drehbuch-Elemente können auch relativ zu einem Technologie-Element angegeben werden. In diesem Fall wird zuerst das Technologie-Element gesucht und dann mit dessen Screenshot weiter gearbeitet. Ein Element wird automatisch relativ angelegt, wenn man bei der Definition ein Technologie-Element ausgewählt hat. Relative Elemente werden im Baum gelb eingefärbt angezeigt.

			Alternativ zu dieser Methode kann man aber auch einfach Pfade kombinieren, siehe Abschnitt [[#Schreibweise\|Schreibweise]].

	= Schreibweise =		= Schreibweise =

Matilk: /* Drehbuch verwenden */

2022-12-22T12:02:42Z

Drehbuch verwenden

← Nächstältere Version		Version vom 22. Dezember 2022, 12:02 Uhr
Zeile 11:		Zeile 11:

	= Drehbuch verwenden =		= Drehbuch verwenden =
			Wenn ein Drehbuch in einer Verbindung geladen ist, kann es auch verwendet werden. Für eine Applikation im GUI-Browser haben Sie im Kontextmenü neben dem Anlegen eines neuen Drehbuchs auch die Möglichkeit, ein bereits existierendes Drehbuch aus einem Anhang oder einer Datei zu laden.
⚫	Um ein Drehbuch in einem Test zu ~~verwenden,~~ ~~muss~~ es zu ~~Beginn geladen werden~~. ~~In manchen~~ Technologie-Bibliotheken ~~gibt~~ es ~~dafür einen~~ Baustein, in der Common GUI Library, die in jedem Fall verwendet werden kann, heißt er zum Beispiel ''[UI] Set Screenplay''. Ziehen Sie dafür das Attachment des Drehbuchs in Ihren Baustein und setzen Sie das Datenformat am Ausgang auf ''Inhalt als String'', um den Pin mit dem Screenplay-Baustein verbinden zu können~~. Die definierten Elemente können mit den Bausteinen der Technologie-Bibliotheken oder der Common GUI Library verwendet werden, möglicherweise funktionieren aber nicht alle Aktionen~~.

		⚫	Um ein Drehbuch in einem Test zu laden gibt es entsprechende Bausteine. Manchen Technologie-Bibliotheken beinhalten einen solchen Baustein, in der Common GUI Library, die in jedem Fall verwendet werden kann, heißt er zum Beispiel ''[UI] Set Screenplay''. Ziehen Sie dafür das Attachment des Drehbuchs in Ihren Baustein und setzen Sie das Datenformat am Ausgang auf ''Inhalt als String'', um den Pin mit dem Screenplay-Baustein verbinden zu können.

			Die im Drehbuch definierten Elemente können mit den Bausteinen der Technologie-Bibliotheken oder der Common GUI Library verwendet werden, möglicherweise funktionieren aber nicht alle Aktionen. Lesen Sie im Abschnitt [[#Schreibweise\|Schreibweise]] weiter unten in welcher Form die Elemente an den Eingangspins angegeben werden können.

	= Elemente =		= Elemente =

Matilk: /* Grafische Elemente */ search parameters

2022-12-22T09:56:16Z

Grafische Elemente: search parameters

← Nächstältere Version		Version vom 22. Dezember 2022, 09:56 Uhr
Zeile 32:		Zeile 32:
	\| [[Datei:MenuBitmapLocator.png]] \|\| '''Bereich unter Bild''' \|\| Definieren Sie ein Bild, indem Sie einen entsprechenden Rahmen in der Vorschau ziehen. Sie können den Ausschnitt danach noch zuschneiden. Das definierte Element befindet sich dann an der Stelle, an der das Bild gefunden wird.		\| [[Datei:MenuBitmapLocator.png]] \|\| '''Bereich unter Bild''' \|\| Definieren Sie ein Bild, indem Sie einen entsprechenden Rahmen in der Vorschau ziehen. Sie können den Ausschnitt danach noch zuschneiden. Das definierte Element befindet sich dann an der Stelle, an der das Bild gefunden wird.
	\|- style="vertical-align:top;"		\|- style="vertical-align:top;"
	\| [[Datei:MenuAutoBitmapLocator.png]] \|\| '''Bereich an Klickposition (Auto)''' \|\| Gleich wie die vorige Option, nur dass Sie zur Definition lediglich an die Stelle für das Element klicken müssen ~~und danach den Bildbereich bei Bedarf anpassen können~~. expecco versucht einen sinnvollen Bildbereich auszuwählen, in ~~jedem~~ ~~Fall~~ ~~ist~~ ~~bereits~~ ~~er eindeutig ist~~.		\| [[Datei:MenuAutoBitmapLocator.png]] \|\| '''Bereich an Klickposition (Auto)''' \|\| Gleich wie die vorige Option, nur dass Sie zur Definition lediglich an die Stelle für das Element klicken müssen. expecco versucht einen sinnvollen Bildbereich auszuwählen, den Sie bei Bedarf anpassen können.
	\|- style="vertical-align:top;"		\|- style="vertical-align:top;"
	\| [[Datei:MenuBitmapRelativeBoundsLocator.png]] \|\| '''Am Bild verankerter Bereich''' \|\| In diesem Fall befindet sich das Element nicht an der Stelle, an der das zugehörige Bild gefunden wird, sondern an einer Position relativ dazu. Zur Definition zeihen Sie einen Rahmen in der Vorschau, wo sich das Element befinden soll und definieren anschließend in gleicher Weise das Bild, das als Anker verwendet werden soll.		\| [[Datei:MenuBitmapRelativeBoundsLocator.png]] \|\| '''Am Bild verankerter Bereich''' \|\| In diesem Fall befindet sich das Element nicht an der Stelle, an der das zugehörige Bild gefunden wird, sondern an einer Position relativ dazu. Zur Definition zeihen Sie einen Rahmen in der Vorschau, wo sich das Element befinden soll und definieren anschließend in gleicher Weise das Bild, das als Anker verwendet werden soll.
Zeile 44:		Zeile 44:
	\| [[Datei:MenuBetweenTwoLocator.png]] \|\| '''Durch zwei Bilder definierter Bereich''' \|\| Im Unterschied zur vorherigen Option sind die Bilder nicht Teil des Elements, sondern dienen als Anker für die obere linke bzw. untere rechte Ecke.		\| [[Datei:MenuBetweenTwoLocator.png]] \|\| '''Durch zwei Bilder definierter Bereich''' \|\| Im Unterschied zur vorherigen Option sind die Bilder nicht Teil des Elements, sondern dienen als Anker für die obere linke bzw. untere rechte Ecke.
	\|}		\|}
			Auch wenn eine Anwendung dasselbe Element anzeigt, kann es sein, dass es im Screenshot nicht jedes Mal Pixel für Pixel identisch auftaucht. Um Ungenauigkeiten durch diesen Effekt auszugleichen gibt es verschiedene Parameter, die für die Suche gesetzt werden können. Im Kontextmenü eines Elements können Sie einen Editor zum Ändern dieser Parameter öffnen (''Locator (Image Search) Parameters...''). Hier können Sie zum Beispiel festlegen, wie stark das Referenzbild vom Original abweichen darf oder nur einen Graustufen- der Schwarz-Weiß-Vergleich machen lassen.

	=== Text suchen ===		=== Text suchen ===

Matilk: /* Grafische Elemente */

2022-12-21T16:51:39Z

Grafische Elemente

@@ Zeile 21: / Zeile 21: @@
 === Position ===
 Die einfachste Möglichkeit ist es, einfach eine Position anzugeben. Hierfür muss noch nicht einmal der Screenshot durchsucht werden, trotzdem handelt es sich hierbei um ein grafisches Element, da die möglichen Aktionen mit einem solchen Element dieselben sind.
 === Bild suchen ===
 Elemente können mit einem oder mehreren Bilder definiert werden, die dann im aktuellen Screenshot gesucht werden. Hiervon gibt es verschiedene Unterkategorien. Das Element kann direkt durch das Bild definiert sein oder eine Position relativ zum Bild haben. Es ist außerdem möglich, einen Bereich zu definieren, der von zwei Bildern aufgespannt wird.
 === Text suchen ===
 Wenn die OCR-Unterstützung in expecco konfiguriert ist, kann auch nach Text innerhalb des Bildes gesucht werden. Hier ist zu beachten, dass der Erfolg natürlich vom OCR-Ergebnis abhängt. Dabei ist hoher Kontrast in der Regel von Vorteil, dunkle Schrift auf hellem Grund wird meist besser erkannt als umgekehrt. Icons oder andere grafische können als Zeichen erkannt werden, was zu Problemen führen kann, wenn ein Wort direkt daneben gesucht wird.
 == XPath-Elemente ==

Matilk am 20. Dezember 2022 um 16:05 Uhr

2022-12-20T16:05:36Z

← Nächstältere Version		Version vom 20. Dezember 2022, 16:05 Uhr
Zeile 1:		Zeile 1:
	'''Deutsche Version''' \| [[Grafical_Elements_in_GUI_Technologies\|English Version]]		'''Deutsche Version''' \| [[Grafical_Elements_in_GUI_Technologies/en\|English Version]]
	= Einleitung =		= Einleitung =
	Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.		Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.

Matilk: /* Schreibweise */

2022-12-20T15:01:06Z

Schreibweise

← Nächstältere Version		Version vom 20. Dezember 2022, 15:01 Uhr
Zeile 32:		Zeile 32:

	= Schreibweise =		= Schreibweise =
	Um ein Element aus dem Drehbuch an einem Baustein zu verwenden, wird das @-Zeichen verwendet, um eine Element-ID zu kennzeichnen. Zum Beispiel ''@OkButton''. Bei der Verwendung eines Screenplays mit VNC oder auf dem lokalen Bildschirm gibt es daneben noch andere Schreibweisen, die bei den anderen GUI-Technologien nicht zulässig sind, da man hier unterscheiden können muss, ob es sich um einen XPath oder um ein Screenplay-Element handelt.		Um ein Element aus dem Drehbuch an einem Baustein zu verwenden, wird das @-Zeichen verwendet, um eine Element-ID zu kennzeichnen. Zum Beispiel ''@OkButton''. Bei der Verwendung eines Screenplays mit VNC oder auf dem lokalen Bildschirm gibt es daneben noch andere Schreibweisen, die bei den anderen GUI-Technologien nicht zulässig sind, da man hier unterscheiden können muss, ob es sich um einen XPath oder um ein Screenplay-Element handelt. Eine Element-ID darf die Zeichen '@', '$' und '/' nicht enthalten.

	Es ist auch möglich, mehrere Elemente in einem Pfad zu kombinieren. Dabei wird der Pfad von links nach rechts abgearbeitet und jeweils nur innerhalb des definierten Bereichs weitergesucht. Die einzelnen Teile werden dabei durch "/" getrennt. Zum Beispiel ''@linkeSeite/@OkButton''. Es dürfen XPath der Technologie mit den Element-IDs kombiniert werden, allerdings ist hierbei zu beachten, dass keine Element-ID für ein grafisches Element links von einem XPath stehen kann.		Es ist auch möglich, mehrere Elemente in einem Pfad zu kombinieren. Dabei wird der Pfad von links nach rechts abgearbeitet und jeweils nur innerhalb des definierten Bereichs weitergesucht. Die einzelnen Teile werden dabei durch "/" getrennt. Zum Beispiel ''@linkeSeite/@OkButton''. Es dürfen XPath der Technologie mit den Element-IDs kombiniert werden, allerdings ist hierbei zu beachten, dass keine Element-ID für ein grafisches Element links von einem XPath stehen kann.

Matilk am 20. Dezember 2022 um 14:56 Uhr

2022-12-20T14:56:30Z

← Nächstältere Version		Version vom 20. Dezember 2022, 14:56 Uhr
Zeile 1:		Zeile 1:
			'''Deutsche Version''' \| [[Grafical_Elements_in_GUI_Technologies\|English Version]]
	= Einleitung =		= Einleitung =
	Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.		Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.

Matilk: Die Seite wurde neu angelegt: „= Einleitung = Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherw…“

2022-12-19T16:41:08Z

Die Seite wurde neu angelegt: „= Einleitung = Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherw…“

Neue Seite

= Einleitung =
Die GUI-Technologien liefern üblicherweise Informationen über vorhandene Elemente in der jeweiligen Anwendung. Über einen Locator (üblicherweise ein XPath) kann dann an einem Baustein angegeben werden, für welches Element eine bestimmte Aktion ausgeführt werden soll. In manchen Fällen kann es aber schwierig bis unmöglich sein, solch einen geeigneten Pfad anzugeben. Entweder weil die Struktur nicht statisch ist, es keine geeigneten Eigenschaften gibt das Element zu identifizieren, oder weil ein Element über die Technologie gar nicht sichtbar ist, sondern nur sein umgebendes Element.

Über die Verwendung eines Drehbuchs (Screenplay) ist es möglich, Elemente zu definieren, die über den Screenshot gefunden werden. Das Prinzip ist das gleiche wie bei der Automatisierung auf dem [[Local_Screen_GUI_Plugin_Reference|lokalen Bildschirm]] oder über einen [[VNC_Plugin_Reference|VNC-Server]], kann aber parallel mit der normalen Adressierung verwendet werden.

Bisher unterstützen folgende Technologien ein zusätzliches Screenplay: [[Selenium_WebDriver_Plugin|Web Test (Selenium)]], [[Mobile_Testing_Plugin|Mobile Testing (Appium)]], [[WindowsAutomation_Reference_2.0|WindowsAutomation 2]] und [[Java_GUI_Plugins|Java]].

= Drehbuch definieren =
Am einfachsten lassen sich Drehbücher im [[Expecco_GUI_Tests_Extension_Reference|GUI-Browser]] anlegen. Bauen Sie zunächst die Verbindung auf, die Sie verwenden wollen. Im Kontextmenü der Applikation gibt es den Eintrag ''Drehbuch'' und darunter verschiedenen Option, unter anderem, ein neues Drehbuch anzulegen. Die Elemente werden im Drehbuch in Szenen unterteilt. Diese können zur Strukturierung verwendet werden, es ist aber auch möglich, nur eine Szene zu verwenden. Das Drehbuch wird als Anhang ins aktuelle Projekt gespeichert, ebenso alle Bilddateien, die zur Definition der Elemente verwendet werden.

= Drehbuch verwenden =
Um ein Drehbuch in einem Test zu verwenden, muss es zu Beginn geladen werden. In manchen Technologie-Bibliotheken gibt es dafür einen Baustein, in der Common GUI Library, die in jedem Fall verwendet werden kann, heißt er zum Beispiel ''[UI] Set Screenplay''. Ziehen Sie dafür das Attachment des Drehbuchs in Ihren Baustein und setzen Sie das Datenformat am Ausgang auf ''Inhalt als String'', um den Pin mit dem Screenplay-Baustein verbinden zu können. Die definierten Elemente können mit den Bausteinen der Technologie-Bibliotheken oder der Common GUI Library verwendet werden, möglicherweise funktionieren aber nicht alle Aktionen.

= Elemente =
Es gibt verschiedene Arten von Elementen oder Playern, die im Drehbuch definiert werden können. Im GUI-Browser können Sie ein neues Element anlegen, indem Sie das Drehbuch oder eine Szene auswählen und im Kontextmenü ''Neues Element definieren ("Player" in der Szene)'' auswählen und darunter den Typ des Elements.

== Grafische Elemente ==
Grafische Elemente sind alle Elemente, die über den Screenshot erkannt werden. Die Elemente, die so gefunden werden sind unabhängig von der Technologie. Mit ihnen können nur grundlegende Aktionen ausgeführt werden, wie Klicken oder den Text auslesen (über OCR). Auch wenn diese Aktionen trotzdem über die jeweilige Technologie ausgeführt werden, sind mit diesen Elementen keine Aktionen möglich, die ein echtes Technologie-Element benötigen (z.B. Attribut-Werte auslesen). Es gibt verschiedene Möglichkeiten, ein solches Element zu definieren.

=== Position ===
Die einfachste Möglichkeit ist es, einfach eine Position anzugeben. Hierfür muss noch nicht einmal der Screenshot durchsucht werden, trotzdem handelt es sich hierbei um ein grafisches Element, da die möglichen Aktionen mit einem solchen Element dieselben sind.

=== Bild suchen ===
Elemente können mit einem oder mehreren Bilder definiert werden, die dann im aktuellen Screenshot gesucht werden. Hiervon gibt es verschiedene Unterkategorien. Das Element kann direkt durch das Bild definiert sein oder eine Position relativ zum Bild haben. Es ist außerdem möglich, einen Bereich zu definieren, der von zwei Bildern aufgespannt wird.

=== Text suchen ===
Wenn die OCR-Unterstützung in expecco konfiguriert ist, kann auch nach Text innerhalb des Bildes gesucht werden. Hier ist zu beachten, dass der Erfolg natürlich vom OCR-Ergebnis abhängt. Dabei ist hoher Kontrast in der Regel von Vorteil, dunkle Schrift auf hellem Grund wird meist besser erkannt als umgekehrt. Icons oder andere grafische können als Zeichen erkannt werden, was zu Problemen führen kann, wenn ein Wort direkt daneben gesucht wird.

== XPath-Elemente ==
Im Drehbuch können auch Elemente mit XPath definiert werden. Dadurch kann einem Pfad quasi ein Name zugewiesen werden. Dies trägt zum einen zur besseren Lesbarkeit des Tests bei, zum anderen können Pfade so einfacher ausgetauscht werden. Elemente, die so gefunden werden, sind genauso echte Technologie-Elemente wie wenn man den Pfad direkt am Baustein verwendet, das heißt mit ihnen können alle Aktionen ausgeführt werden, die für die Technologie möglich sind.

= Schreibweise =
Um ein Element aus dem Drehbuch an einem Baustein zu verwenden, wird das @-Zeichen verwendet, um eine Element-ID zu kennzeichnen. Zum Beispiel ''@OkButton''. Bei der Verwendung eines Screenplays mit VNC oder auf dem lokalen Bildschirm gibt es daneben noch andere Schreibweisen, die bei den anderen GUI-Technologien nicht zulässig sind, da man hier unterscheiden können muss, ob es sich um einen XPath oder um ein Screenplay-Element handelt.

Es ist auch möglich, mehrere Elemente in einem Pfad zu kombinieren. Dabei wird der Pfad von links nach rechts abgearbeitet und jeweils nur innerhalb des definierten Bereichs weitergesucht. Die einzelnen Teile werden dabei durch "/" getrennt. Zum Beispiel ''@linkeSeite/@OkButton''. Es dürfen XPath der Technologie mit den Element-IDs kombiniert werden, allerdings ist hierbei zu beachten, dass keine Element-ID für ein grafisches Element links von einem XPath stehen kann.