卡拉扬与柏林爱乐之间的关系，可以说是相当特别的。年轻时候的卡拉扬就一直梦想能够当上柏林爱乐的音乐总监，但是，当时挡在他前头的障碍确是另外一位重量级的指挥家福特万格勒。福特万格勒接掌欧洲顶尖的柏林爱乐管弦乐团已经有30多年了，而且早就建立起传奇的名声，但是，福特万格勒却相当排挤卡拉扬，使得卡拉扬一直都没有办法与柏林爱乐合作。终於，机会来了，1954年福特万格勒逝世，卡拉扬在多位竞争者当中脱颖而出，接任了柏林爱乐管弦乐团，并且在1955年成为柏林爱乐的音乐总监。而且卡拉扬还要求柏林爱乐接受他终身任命的要求。虽然，卡拉扬接掌柏林爱乐的头几年，有许多乐团的资深团员纷纷退休，因此更新了大部份的团员，但是，柏林爱乐却在卡拉扬魔法般的带领之下，创造出令人难以置信的管弦乐风格。这样的风格就是「卡拉扬之声」———一种光辉灿烂或是温柔富含光泽的弦乐，还有壮丽华美的木管、或是奇妙的铜管，再加上饱满的低音提琴，这样的组合，创造出柏林爱乐令人难以置信的音色，彷佛是从一个神奇的泉源中流出来的，这就是「卡拉扬之声」。
不过，要创造出这样高品质的音乐，除了乐团原本就已经具备了良好的素质，其实，卡拉扬的确是花了许多的心力在事前的排练上。比方说，在1970年卡拉扬率领柏林爱乐巡回演出之前，单单是为了准备贝多芬的第九号交响曲，就花了100多个小时在乐团的排练上，卡拉扬对每一首作品的细节都考虑得非常周详，准备得相当充分。对卡拉扬来说，音乐拥有被尽可能演奏得精确与完美的权利，而且经过漫长和谨慎的准备，乐团才能够以完全了解与不惧怕错误的态度来演奏音乐。在卡拉扬的眼中，柏林爱乐绝对不会像许多乐团一样在音乐的容忍度边缘演奏，而且是充满恐惧的吞音符，他知道，柏林爱乐的团员都是充满信心，以智慧和充分的想像力来演奏的。卡拉扬大大提升了柏林爱乐的音乐品质，柏林爱乐也让卡拉扬充分表现了他所想要传达的音乐，但是，後来，却爆发出乐团与指挥之间的冲突事件。其中的关键人物正是竖笛家莎宾梅耶。
卡拉扬曾经听过莎宾梅耶的演奏，而且大为赞赏，并且在1984年萨尔兹堡复活节音乐会上，决定聘用莎宾梅耶担任柏林爱乐的团员，但是，这个决定却被一向拒绝女性加入的柏林爱乐否决了，冲突因此越演越烈，卡拉扬甚至放出了要以维也纳爱乐取代柏林爱乐的风声，最後，因为莎宾梅耶主动放弃进入柏林爱乐的机会，争执才逐渐平息。这件事情，多少让卡拉扬与柏林爱乐之间产生了裂痕，但是，双方也都体会到彼此真是谁也离不开谁了。
卡拉扬对柏林爱乐的团员们其实可以说是非常照顾的，他尽力保护他的团员，帮他们争取合理的收入，确保他们的乐器品质，也鼓励他们演出室内乐，甚至在柏林成立音乐学校，培养专业的乐团演奏人才，并且聘请柏林爱乐的独奏家们来当教授，卡拉扬相当了解乐团的心理，而且也将柏林爱乐带上了世界乐坛的顶尖地位。卡拉扬的指挥技巧非常卓越，而且他通常都是背谱指挥。钢琴家兼指挥家阿胥肯纳吉就曾经称赞卡拉扬是一位伟大的直觉音乐家，而且他的沟通能力就像任何人所能想像的那麽好，他可以从很微妙的动作，就给予乐团强而有力的信号。
卡拉扬的演奏曲目相当广泛，早期以巴哈、莫札特、贝多芬、布拉姆斯、布鲁克纳等作曲家的音乐为主，二次世界大战之後，又增加了威尔第、普契尼、巴尔托克、西贝流士等人的作品，到了晚年，马勒、荀白克、贝尔格等作曲家的作品也都成了卡拉扬演奏的曲目之一，而他与柏林爱乐的演出记录也相当惊人，他们曾经在38天当中跑遍世界各地举行了32次的演奏会，风靡了全世界。卡拉扬与柏林爱乐的录音作品，也成为许多爱乐者必备的珍藏品之一，也许，卡拉扬与柏林爱乐也可以算是20世纪乐坛的传奇吧！
