一种基于树形服务器、PC客户端和电话终端的会议系统，包括众多基于PC机的客户端，该客户端连接到广域网，通过广域网和路由器接次级服务器，次级服务器接根服务器，和众多连接到PSTN网基于电话的客户端，PSTN网通过网关连接到远程服务器。本发明根服务器、次级服务器和远程服务器形成树形网络，实现VoIP音频流和PSTN音频流端到端的分发。PC客户通过次级服务器发送音频流到根服务器及接收从邻近次级服务器选定音频流，混音实施在PC机客户方，基于电话客户端从远程服务器接收混音包，远程服务器混音接收到积极发言客户的音频数据包并组合成一个包。本发明降低端点到端点的延迟，保证终端用户得到高质量音频，树形服务器的架构保证会议具有可伸缩性。