1954年国际奥委会雅典年会中以23:21的票数承认了中华全国体育总会为中国奥委会，但同时却保留了台湾的所谓“中华民国奥委会”，开了在一个国家中承认两个国家奥委会的先例。国际奥委会后来又作出允许这两个奥委会同时参加第16届奥运会的决定，并规定两个代表团使用的名称一个是“台湾中国”，一个是“北京中国”。
　　新中国奥委会始终坚持一个中国的政治立场，坚决反对国际奥委会搞“两个中国”的阴谋，在得知国际奥委会允许台湾参加这届奥运会时，立即致电国际奥委会表示抗议，并明确表示：如果允许台湾参加，新中国将拒绝参加本届奥运会。11月17日，国际奥委会执委会讨论中国问题，后来统一了意见，即：以政治为理由的抗议，都不予理会。有的委员甚至建议中国应像民主德国、联邦德国一样能联合组队。结果可想而知，台湾体育组织被邀请参加比赛，中华全国体育总会于1956年1月发表声明，强烈抗议国际奥委会分裂中国的做法，并宣布拒绝参加第16届奥运会。
　　中国台湾派出21名男运动员，参加了田径、举重、射击、篮球、拳击项目的比赛。