Para declarar un componente, basta con declarar una función con JavaScript.
Lo que esta función devuelve es el JSX, es decir, el maquetado deseado. Para ello vas a escribir las etiquetas HTML que necesites, en este caso un <button></button> con las dos etiquetas de apertura y cierre.
Observa como se está utilizando el componente que tu debes crear:
export default function App() { return <Button>Presioname 😬</Button>; }
El texto que queremos colocar dentro del botón, se coloca dentro de las dos etiquetas a la hora de usar tu nuevo componente Button.
Este valor se conoce como children
y lo puedes recibir en tu función Button dentro del parámetro props.