En la interfaz de GitHub, entrar a Releases y luego Draf a new release, indicando el tag y el branch (que suele ser master). Además se pueden agregar una nota.
Luego de guardar, aparecerá un nuevo release, con los archivos descargables.
Para eliminar un release desde consola, se puede usar algo como:
$ git tag -d v1.0 $ git push origin :refs/tags/v1.0
En este caso, se ha eliminado el tag v1.0, tanto en local como en remoto.