原因は、下記参考サイトの通りでAWS CLI v2は「glibc」を必要とするが、Alpine Linuxでは「musl libc」を使用しており「musl libc」ではAWS CLI v2が動作しないということでした。
参考サイト
様々な理由があって「ruby:2.2-alpine」を使っていて、試しに参考サイトからリンクのあったStack Overflowの対応は行ってみましたが
glibc-binで失敗したので断念しました。Alpineに拘る必要は特になかったのでDebianのイメージに変更しました。

Amazon Web Services パターン別構築・運用ガイド 一番大切な知識と技術が身につく
- 作者:NRIネットコム株式会社,佐々木 拓郎,林 晋一郎,小西 秀和,佐藤 瞬
- 発売日: 2015/03/25
- メディア: 単行本