Separationsgerade

Wir bleiben bei dem oben gewählten Perzeptron mit zwei Eingängen zur Klassifikation von Tieren nach ihrer Gefährlichkeit, allerdings nun mit beliebigen reellen Größen und Parametern: $$\begin{array}{rcl}\text{Eingangsgrößen}& :& x_1,x_2\in \mathbb{R}\\ \text{Gewichte}& :& w_1,w_2\in \mathbb{R}\\ \text{Schwellenwert}& :& \mathrm{\Theta }\in \mathbb{R}\\ \text{Ausgangsgröße}& :& y\in \mathbb{R}\end{array}$$ Punkte in der 2-dimensionalen Zahlenebene können als Tiere aufgefasst werden. Die Punktmenge $(x_1,x_2)$, für die die Bedingung $u(x_1,x_2)=\mathrm{\Theta }$ gilt, separiert gefährliche von ungefährlichen Tieren: $$\begin{array}{rcl}u(x_1,x_2)& \stackrel{!}{=}& \mathrm{\Theta }\\ \iff w_1{x}_1+w_2{x}_2& =& \mathrm{\Theta }\\ \iff \overrightarrow{w}\cdot \overrightarrow{x}-\mathrm{\Theta }& =& 0\end{array}$$ Dies ist eine Geradengleichung, die nach Division durch $\Vert \overrightarrow{w}\Vert$ mit dem Einheitsvektor $\overrightarrow{\hat{w}}:=\frac{\overrightarrow{w}}{\Vert \overrightarrow{w}\Vert }$ in der Hesseschen Normalenform geschrieben werden kann als: $$\begin{array}{rcl}\iff \hat{\overrightarrow{w}}\cdot \overrightarrow{x}-\frac{\mathrm{\Theta }}{\Vert \overrightarrow{w}\Vert }& =& 0\end{array}$$ Aus der Hesseschen Normalenform wiederum erhält man den vorzeichenbehafteten Abstand eines Punktes $P$ mit Ortsvektor $\overrightarrow{p}$ von der Separationsgerade $g$ als $$\begin{array}{r}d(\overrightarrow{p},g)=\overrightarrow{w}\cdot \overrightarrow{p}-\mathrm{\Theta }\end{array}$$ Dabei ist $d(\overrightarrow{p},g)$ positiv, wenn P in dem durch die Gerade getrennten Halbraum liegt, in den der Gewichtsvektor $\overrightarrow{w}$ hineinzeigt und negativ, wenn $P$ in dem anderen Halbraum liegt. Weiterhin benötigen wir im Folgenden die Geradengleichung von $g$ auch noch in der Koordinatenform, die wir durch Ausmultiplizieren des Skalarproduktes erhalten als: $$\begin{array}{rcl}\iff \frac{w_1}{\mathrm{\Theta }}{x}_1+\frac{w_2}{\mathrm{\Theta }}{x}_2& =& 1\end{array}$$ Aus der Koordinatengleichung erhält man für die Schnittpunkte mit den Koordinatenachsen also $(\frac{\mathrm{\Theta }}{w_1},0)$ und $(0,\frac{\mathrm{\Theta }}{w_2})$.

Der Abstand der Separationsgeraden von Koordinatenursprung beträgt $d=\frac{\mathrm{\Theta }}{\Vert \overrightarrow{w}\Vert }$, wie man aus der Hesseschen Normalenform abliest. Damit lässt sich die allgemeine Separationsgerade wie folgt graphisch darstellen:

Diese Gerade nennt man Separationsgerade, sie trennt den Bereich der ungefährlichen Tiere von dem Bereich der gefährlichen Tiere. Der Vektor $\overrightarrow{w}$ zeigt in den Halbraum, für den das Perzeptron aktiviert ($y=1$) ist, also hier in den Bereich der gefährlichen Tiere.

Das war jetzt eine gute Portion Mathematik. Um in das Thema hineinzufinden und es gut zu durchdringen, gibt es deshalb jetzt einige Übungen, die am besten zunächst einmal "unplugged", also mit Papier und Bleistift durchgeführt werden.

Aufgabe 1

Welche Auswirkungen hätte der Versuch, im Perzeptron auf den Schwellenwert zu verzichten und ausschließlich Gewichte als Parameter zu verwenden?