原因は、下記参考サイトの通りでAWS CLI v2は「glibc」を必要とするが、Alpine Linuxでは「musl libc」を使用しており「musl libc」ではAWS CLI v2が動作しないということでした。
参考サイト
様々な理由があって「ruby:2.2-alpine」を使っていて、試しに参考サイトからリンクのあったStack Overflowの対応は行ってみましたが
glibc-binで失敗したので断念しました。Alpineに拘る必要は特になかったのでDebianのイメージに変更しました。