前ページで紹介したように法や規則によって、事業主である会社、及び安全運転管理者が行うべき義務が定められていますが、定められた全ての義務について、その違反に対する罰則が規定されているわけではありません。

　事業主の義務違反についての罰則は、安全運転管理者等を選任しなければならないにもかかわらず選任をしなかった場合や、公安委員会の安全運転管理者等の解任命令に反した場合（法１２０条第１項第１１号の３）などには５万円以下の罰金が定められており、また選任の届出を怠った場合（法１２１条第１項第９号の２）には２万円以下の罰金又は科料が定められています。同規定は、法人にも適用されます（法１２３条）。

　これに対し、安全運転管理者個人が、上記のようにその業務として定められた義務を果たさなかったとしても、直接これを罰するような規定はありません。そのため、安全運転管理規定やマイカー通勤規定等を定めず、運転者台帳や運転日誌の記録を整備しなくても、即時に安全運転管理者本人に罰則の適用はありません。

　しかし、法７４条の３第６項は、公安委員会は、安全運転管理者等が同条第２項の規定を遵守していないため自動車の安全な運転が確保されていないと認めるときは自動車の使用者に対し，当該安全運転管理者等の解任を命ずることができると規定しており、業務上安全な運転が確保されていないと認められる場合には解任されることになります（これを怠った場合は上記のように会社に罰則の適用があります。）。

　また、実際に事故が発生した場合において、会社が選任した安全運転管理者がその業務を怠っていたとされる場合には、会社の責任がより容易に認められることになります。そのため会社が被害者に賠償をした後には、会社から求償される可能性もありますし、会社の内部規定に基づく業務懈怠に伴うペナルティーが課されることも考えられます。

　さらにまた、特に過労運転による事故が発生した場合などのように、安全運転管理者の業務の懈怠が事故の発生自体に相当程度寄与していたと認められるような場合などには、安全運転管理者自身の過失に基づく責任が認められる可能性も否定することはできないといえます。