卡拉扬作为指挥首先在德国小镇乌尔姆登台，很快就斩露出非凡的才华。正当他干得起劲时，歌剧院经理却不想与他继续签合同。虽然他非常赏识卡拉扬的才华，但认为乌尔姆确实太小，对卡拉扬今后的发展不利，因此他建议卡拉扬到别的地方去发展。
卡拉扬于是去了柏林，但当时柏林人才济济，象他这样来自一个小歌剧院的籍籍无名的年轻指挥根本找不到合适工作。一个偶然的机会，卡拉扬认识了亚琛的剧院经理，被邀请去那里指挥一次排练。卡拉扬排练了《菲德里奥》， 9 月份演出结束后，卡拉扬就被任命为亚琛的音乐制导。后来卡拉扬在亚琛迅速崛起，成为德国小有名气的年轻指挥家。 1935 年初，他取代亚琛的音乐总监拉贝，成为德国当时最年轻的音乐总监（二十七岁）。
拉贝失去了亚琛音乐总监职位，但他随后就任第三帝国文化局音乐处处长，他的顶头上司就是兼任宣传部长的戈培尔。无论别人怎么争辩，认为不应把艺术和政治扯在一起，戈培尔的态度却非常鲜明。他就任时就宣布：“文化，是第三帝国的宣传工具。”
据卡拉扬讲，正是那时他受到了参加纳粹党的压力。“我原来不是党员”，他说，“在亚琛歌剧院当音乐指导时，我在政治上也不那么引人注目。可是到了签订就任音乐总监的合同时，我的秘书来告诉我，亚琛纳粹党部的头儿已放下话来，说我的合同难以通过：被提名当音乐总监的人居然不是党员！”
“跟你说，对这个问题我是这么做比较的。我特别爱滑雪。我的陪同是一位奥地利向导，无论去哪儿滑雪我都带着他。有一回我们去瑞士的一座山，到那儿后人家却告诉我，除非加入当地的瑞士登山俱乐部，雇佣瑞士向导，否则不准在该山滑雪。我想在那儿滑雪，所以我说管他妈的什么条件都无所谓，于是我买了个会员资格并雇了个瑞士向导。对我来说，参加纳粹党也跟这事一样是迫于无奈。”
“摆在我面前的那张入纳粹党申请等于是一道门槛，跨过它就意味着可以得到无限的权力和对乐团的资助，我就可以无拘无束地指挥音乐会，还有旅行演出，可以有自己的秘书和办公室，我就快活得如登天堂。条件则是必须入党，还有不时地为党员们来一场演出。于是我说管他妈的什么条件都无所谓，并在申请上签了字。可叹的是从此人们便说：‘你当然是个纳粹。’”
卡拉扬当时认识了一位英国朋友，当时英国驻苏黎士的外交官埃奇·莱斯利（ Edge Leslie ）。卡拉扬曾对他说：“我愿意付出任何代价，只要能得到亚琛那份工作。”他回忆说：“卡拉扬有一种强烈的使命感，这一点我们必须理解。有一次我在他的公寓接他出来吃饭，他外出散步去了，留了个字条叫我等他。他房间摆的都是些宗教方面的书籍，有些段落划了线，页边空白处还有他潦草的字迹做的批注。他回来后我问他为什么读这些东西，他对我说：上帝的存在是事实，有无数的迹象可资证明，而不在于人们心诚与否。莫扎特还是个孩子时就写出了交响曲。那可跟遗传挨不上边。卡拉扬说。唯一的解释是：造物主选择了某些人执行他的命令，为这个丑陋的世界创造美。‘我被赋予了特殊的工具，’卡拉扬对我说，‘特出的才能。我从不怀疑我的才能是造物主的赐予。我的责任就是让它得到最充分的发挥。我立志要创造尽可能完美的音乐并把它奉献给尽可能多的人。我要把音乐般上银幕。’”
“批评家把卡拉扬称作自负的神，”莱斯利说，“而卡拉扬则会说我是上帝的工具。他在执行使命时是无情的。他对我讲过：‘我做过一些糟糕的事。’但解释说是为了完成使命不得已而为之的。”
关于卡拉扬的入党日期，现在找到的文件跟卡拉扬的说法相左。 1957 年，保罗·莫尔发表了一篇关于卡拉扬的文章中，名字叫做《投机者》。文章写到：“赫伯特·冯·卡拉扬加入纳粹党不是在亚琛而是在萨尔茨堡，也不是迫于压力于 1934 年加入的。其入党时间是 1933 年 4 月 8 日，是在希特勒上台仅仅两个月零八天之后。他的党员登记卡编号是 1-607525 。他交纳了当月的党费，但四月底他回德国去了，加上他没有领取党员登记卡，就造成了档案管理上的一点麻烦。但回到乌尔姆后，他于 1933 年 5 月 1 日把情况讲清并重新作了登记，领取了编号为 3-430914 的党员登记卡。这些事实都记载在纳粹党的“名人档案”中，存于美国驻柏林外交使团档案中心，看来要比赫伯特·冯·卡拉扬本人的回忆更为可信。”
25 年后，德国音乐研究家弗雷德·普里伯格（ Fred Prieberg ）在其著作《纳粹执政的德国音乐》中重又披露了有关文件，证明卡拉扬“双重登记”参加纳粹党一事，所提入党日期以及党证编号均于莫尔 1959 年的发现相符。
对于普里伯格将他从柏林档案中心弄到的文件公诸于众，卡拉扬迅即作出了愤怒的反应。“简直是捏造，我根本就不屑谈论此事。荒谬透顶，普里伯格写这种玩意不过是为了赚钱。”
几个月后，我亲自到柏林档案中心弄到了那些文件，包括那两份党员登记卡的复印件。在阿尼夫大师的家里，我把这些东西拿给他看。他首先问了我怎样弄到的，并对这种东西居然可以随便外传表示气愤。然后他接过文件，用警觉而好奇的目光凝视片刻，再把它们拿到灯下以便看得更清楚。“哪儿有我的签名？”细查了几秒钟后他问，“这些东西并无签名，看见吗？”我问他是何看法，他耸耸肩，瞅着我道：“全是假的。”（纳粹的党员登记卡本无签名，是由党的官员填写的。）
奇怪的是，纳粹文件本身也发现一些跟卡拉扬的说法相矛盾的记载。柏林档案中心的档案中有一些纳粹党部及分部的往来信函，讨论的都是一个专门话题：卡拉扬的入党时间。要确定这些信函往来始于何人、是谁最先提出要求或者说提出询问从而使官僚机器忙乎起来是不可能的，但从存留的几封信就可以看出，其内容是相连贯的：
—— 1939 年 1 月 5 日，纳粹党莱尼里总部致函奥地利纳粹党财政部，内容是关于卡拉扬的党员资格问题。信中称卡拉扬明显地两次入党： 1939 年 4 月 8 日在萨尔茨堡（编号 1-607525 ），再次登记（未有住址变更的报告）时间为 1933 年 5 月 1 日，在乌尔姆。信中询问 4 月 8 日的“临时”党员资格是否算数。
—— 1939 年 2 月 4 日，纳粹在奥地利（维也纳）的党代表致信慕尼黑纳粹党财政负责人，称卡拉扬 4 月 8 日的入党申请有效与否应由萨尔茨堡党部认定。
—— 1939 年 2 月 4 日，（应是）纳粹维也纳代表致信萨尔茨堡纳粹党部财政负责人，要求对上述问题作出认定。
—— 1939 年 5 月 15 日，萨尔茨堡“新城市”小组致萨尔茨堡纳粹党财政负责人。小组负责人称他曾找党员赫伯特·克莱因（ Herbert Klein ）谈过，卡拉扬入党是克莱因签署的，还收了五个先令的手续费。克莱因说，他给卡拉扬开具了一张收据，并将材料存入了萨尔茨堡的纳粹党党员招收工作办公室。纳粹党被禁后，卡拉扬去了德国。克莱因说，从那以后他再未听到过卡拉扬的消息，并说他相信卡拉扬从未在奥地利交过党费。克莱因愿意作为证人澄清事实。（此件抄送慕尼黑）
—— 1939 年 7 月 7 日，慕尼黑党总部发函给科隆 - 亚琛的纳粹财务负责人，宣告由于卡拉扬未寄交党费，其 1933 年 4 月 8 日登记的党员资格无效，宣告 1933 年 5 月 1 日的登记有效。转去卡拉扬的党员证请交其本人。
—— 1942 年 12 月 12 日，帝国高层领导人施奈德（ Schneider ）致函柏林帝国总理府，确定卡拉扬入党的正式日期为 1933 年 5 月 1 日，其党员登记号为 3-430914 ，其党证已于 1939 年 7 月 13 日办妥。
就这样，一方面是有文件为证：是从纳粹仓皇溃逃时遗留下来的堆积如山的、错综复杂又残缺不全的文件材料中节选出来并经过核实的。另一方面则是卡拉扬的断然否认。既然卡拉扬从来不隐瞒自己曾加入纳粹这一事实，那么为何在入党日期这个看起来就像没有了枪栓的枪一样无甚意义的小事上坚持自己的说法呢？我们只能这样推测：这涉及一个入党动机的问题。卡拉扬坚持说他是 1935 年入党的，就可证明他入党是为了保住职位，这条理由是较易为人们所理解并接受的。但若入党时间是在 1933 年 4 月或 5 月，亦即在希特勒上台刚刚一、两个月时，那就显得对希特勒及其政治计划多少有点热情、有点支持了。这就不那么容易为人理解了。
但是纳粹党员这个阴影却跟着他一辈子，以色列和犹太人始终无法接受他。第二次世界大战后，卡拉扬被禁止演出两年。恢复演出后，他到过美国几次，每次带着他那支苦心调教出来的世界一流的柏林爱乐乐团进行巡回演出时，都会遇到示威群众。这些人高举着反纳粹的牌子在音乐厅门口叫骂，骂他是纳粹。一九八就年二月，已经八十一岁高龄的卡拉扬最后一次赴美国演出，在卡内基音乐厅指挥维也纳爱乐乐团。这时的卡拉扬已经要靠旁人的搀扶才能走上指挥台，当观众们目睹步履蹒跚的卡拉扬那过人的毅力，都发自内心的站立起来，全场爆发出热烈的鼓声。可就算如此，场外仍有一些人进行抗议。甚至有些人到美国司法部，检举他的纳粹党员身份。
而世界上的乐评家们对卡拉扬也分成了两派，有的人对卡拉扬十分崇拜，例如英国、德国、中国、日本只要看见卡拉扬的大名，不加分辨就说好。而有些人却是绝对的“反卡派”，只叫一提到他的名字就嗤之以鼻，比如以色列。他们非常情绪化，甚至拒称其名，而以GREAT NAZIS代之。当卡拉扬完成他这最后一次赴美演出回到柏林后，他的身体已经严重衰退。同年四月，他递交了辞呈，虽然合约期未满。三个月后，这位伟大的指挥帝王便与世长辞了。
我到是真希望能找到他在第三帝国时期的作品，毕竟那是他传奇一生的一个组成部分
