中国古代早有“以耳为目”，“听声类形”之说。春秋战国时期的音乐师旷所作《阳春白雪》云：“《阳春》取万物知春，和风澹荡之意，《白雪》取凛然清洁，雪竹琳琅之音。”相传二千多年前，楚国有位娴于操琴的音乐大师俞伯牙遇到知音钟子期，伯牙操琴，子期赞道：“美哉！巍巍乎泰山”，“美哉！荡荡乎若江河”。色彩和音乐是相通的，绚丽灿烂的色彩形象能暗示旋律优美的听觉形象，人们在欣赏一幅优秀的色彩艺术作品时，似乎从中能“听”到用颜色谱写的乐曲：一首优美动听的乐曲，似乎从中能“看”到用音符描绘的色彩。

     孔子的再传弟子公孔尼子所作的《乐记》认为，音乐乃由人心之“感于物而动，故形于声”，“其哀心感者，其声噍以杀；其乐心感者，其声啴以缓；其喜心感者，其声发以散；其怒心感者，其声粗以厉；其敬心感者，其声直以廉；其爱心感者，其声和以柔。”形、色，声俱有。唐代武则天是十分爱好音乐的女皇帝，她敕撰的《乐书要录》中云：“变声之充赞五音，变犹晕色之挥五彩”，肯定了“五音”与“五色”的关系。我国古典诗词里，也有不少描写视觉形象与听觉形象审美心理的佳句。如“红杏枝头春意闹”，一个富有音乐感的“闹”字，把红杏无声姿色，绝妙地刻划出春天的盎然生机。又如“留得残荷听雨声”，视觉形象的残荷和听觉形象的“雨声”勾起了林黛玉的伤感情绪。小提琴协奏曲《梁祝》优美的旋律，或悠扬，如平湖秋月；或热烈，如天风浪浪；或典雅如幽鸟相逐；或萧萧落叶，犹如行云流水，给人以空幻朦胧，迷朦飘逸和五彩缤纷的感觉，并叩动着审美者的心弦。

    古希腊人认为七种音调具有七种情绪色彩。企图把七个音符与七种光谱色对应起来。西欧著名音乐家施特劳斯的《蓝色多瑙河》、《春的声息》，舒曼的《黑、红、金》，贝多芬的《田园》都是试图在音乐中追求色彩意境的代表作。最具代表性的是法国印象主义音乐大师德彪西，他受印象派的影响，在音乐创作上打破陈规，另辟蹊径，开创了印象派音乐。他毕生追求发挥色彩在音乐中的表现力，经常应用五声音阶、全音音阶、色彩性和声与配器进行创作，他的代表作《大海》、《夜曲》，采用音色对比的手法，描绘了晨曦时由紫变蓝的天空和朦胧、飘忽、空幻、幽静的色彩意境。德彪西色彩音乐曾在欧洲风行一时。德国的一些物理学家还研究色彩和音乐的物理属性的对应关系，并企图从声音的振动频率和光波的振动频率类比中找到色彩与音乐相互对应的理论依据。
    实验心理学表明，视觉形象和音乐形象的转换，必须通过“联想”和“想象”才能“翻译”成明快、晦暗、艳丽、沉静、朴素、典雅、华丽等不同的色调。如柔和优美的抒情乐曲可以联想到柔美的中浅色调，节奏热烈奔放的的现代迪斯科音乐可以联想到对比明快的色调。音乐色彩的感受能力的强弱不仅与音乐和色彩艺术修养有关，而且与联想力和想象力有关。