The omission of Bismillah during the prayers
The differences among Muslims have gone so deep and desappointing to the point that some argue that it is recommended to omit the Bismillah when praying, while others refute such arguments.

If the Bismillah is not part of all 113 surats of the quran (al-Tawbah does not have one), then why would Allah begin every one of the 113 surats with the word Bismillah??? Does it hurt to say it??? I don't understand how scholars can recommend its omission.

The Imamis, Hanbalis and Shafi'i argue that it must be recited during the prayers. However, the Malikis and Hanafis recommend its omission, although the Hanafis recite it silently in all prayers. Since we have been ordered to hold fast to the Quran and Ahlul Bayt, does it not suffice to say that if the Ahlul Bayt recited it, then it means the prophet recited it as well and therefore it cannot be omitted. There is no room for personal opinion in this issue and in any other religious issue!

Content:
Verdict of the five schools of thoughts
Sunnis and Shia'a reports on the reciting the Bismillah
Contradictory reports
Conclusion
 

Verdict of the five schools of thoughts

Imamis Hanbalis Shafi'is Malikis Hanafis
The bismillah is a part of the surahs which cannot be omitted in any circumstance.

It must be recited loudly in the loud prayers and it is recommended to be recited loudly in the silent prayers. It must be recited in obligatory and supererogatory prayers.

The bismillah is a part of surahs though it will be recited in a low voice and not aloud. The bismillah is a part of the surah and cannot be omitted in any circumstance The bismillah is not a part of the surah and it is mustahabb to omit it altogether. Its recitation is however allowed in the supererogatory prayers. The Hanafis say: It is valid to skip the bismillah because it is not a part of any surah. But they have made it compulsory to recite silently in all prayers.

Sunnis and Shia'a reports on the reciting the Bismillah
All the following narrations are approved by the Sunnis and Twelver Shia'a scholars and there is no room for arguing against the fact that the prophet recited Bismillah during his prayers.

The following points will be proven:

  1. For every revelation, the angel Gibra'il would start the surat with Bismillah
  2. Many companions reported that the prophet used to loudly recite the Bismillah during every prayer.
  3. Abu Bakr, Umar, Uthman and Ali used to recite the Bismillah during every prayer.
  4. Bismillah is part of every surat of the Quran except surat al-Tawbah.
  5. Omitting Bismillah during the prayer is the same as omitting any other verse of the Quran during its recitation.
  6. Bismillah must always be recited.
Ibn Jurayj narrated from his father from Sa`id b. Jubayr from Ibn `Abbas on the saying of the most High: "We have given you the seven most repeated verses." He said: "The opening [chapter] of the book, in the name of God most beneficent, most compassionate; Praise be to the Lord of the Universe and he recited the chapter." Ibn Jurayj said: "I said to my father: `Did Sa'id tell you from Ibn `Abbas that he said: `In the name of God most merciful, most beneficent' is a verse?' He replied: `Yes.'"
فأخبرناه الحسن بن حليم المروزي، أنبأ أبو الموجه، أنبأ عبدان، أنبأ عبد الله. وحدثنا أبو إسحاق إبراهيم بن محمد بن يحيى، ثنا أحمد بن محمد بن حريث، ثنا سعيد بن يعقوب الطالقاني، ثنا عبد الله بن المبارك، عن ابن جريج، عن أبيه، عن سعيد بن جبير، عن ابن عباس في السبع المثاني قال: هن فاتحة الكتاب، قرأها ابن عباس: بسم الله الرحمن الرحيم سبعا. قال ابن جريج: فقلت لأبي: أخبرك سعيد بن جبير، عن ابن عباس أنه قال: بسم الله الرحمن الرحيم آية من كتاب الله؟ قال: نعم، ثم قال: قرأها ابن عباس: بسم الله الرحمن الرحيم في الركعتين جميعا. وأما حديث محمد بن بكر البرساني: (ج/ص: 1/ 737)
Reference:
     Mustadrak al-Hakim #2/2021, #4/2023 (المجلد الأول. - 18- كتاب فضائل القرآن)
     al-Talkhis, by al-Dhahabi

Ibn `Abbas narrated: "When Gabriel used to come to the Prophet (P) and would recite `In the name of God most merciful, most beneficent' he would know that it was a chapter [to be revealed]."
سألت أبا زكريا العنبري -وحدثنا به عن أبي عبد الله، ثنا أحمد بن حازم بن أبي عزرة، ثنا علي بن حكيم، أنبأ المعتمر بن سليمان، عن مثنى بن الصباح، عن عمرو بن دينار، عن سعيد بن جبير، عن ابن عباس: أن النبي - صلى الله عليه وسلم - كان إذا جاءه جبرئيل فقرأ: بسم الله الرحمن الرحيم، علم أنها سورة. هذا حديث صحيح الإسناد، ولم يخرجاه.‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #844/171 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)
     al-Jami'i al-Sagheer, by Jalaludin al-Suyuti, #6632 (المجلد الخامس. باب "كان" وهي الشمائل الشريفة - تصحيح السيوطي: صحيح‏)
     Kanz al-U'ummal, #18468, 18471 (المجلد السابع. {نزول الوحي}. )
     Mu'ujam al-Tabarani al-Kabeer, by Imam al-Tabarani (باب الظاء. أحاديث عبد الله بن العباس بن عبد المطلب بن هاشم بن عبد مناف. سعيد بن جبير عن ابن عباس)

Ibn `Abbas narrated: "The Prophet did not use to know the end of a chapter until `In the name of God most merciful, most beneficent' was revealed."
حدثنا أبو العباس محمد بن يعقوب، ثنا أبو بكر محمد بن إسحاق الصغاني، ثنا معلى بن منصور. وأخبرنا أبو قتيبة سالم بن الفضل الآدمي، ثنا القاسم بن زكريا المقري، ثنا الحسن بن الصباح البزار قالا: ثنا سفيان بن عيينة، عن عمرو بن دينار، عن سعيد بن جبير، عن ابن عباس - رضي الله تعالى عنهما - قال: كان النبي - صلى الله عليه وسلم - لا يعلم ختم السورة حتى تنزل: {بسم الله الرحمن الرحيم}. هذا حديث صحيح على شرط الشيخين، ولم يخرجاه. (ج/ص: 1/ 356)‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #845/172 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)
     Mu'ujam al-Tabarani al-Kabeer, by Imam al-Tabarani (باب الظاء. أحاديث عبد الله بن العباس بن عبد المطلب بن هاشم بن عبد مناف. سعيد بن جبير عن ابن عباس)

Ibn `Abbas narrated: "The Muslims did not know the end of a chapter until `In the name of God most merciful, most beneficent' was revealed. When `In the name of God most merciful, most beneficent' was revealed they realized that the chapter had ended."
حدثنا أبو علي الحسين بن علي الحافظ، أنبأ محمد بن محمد بن سليمان، ثنا رحيم بن اليتيم. وأخبرنا أبو عمرو محمد بن أحمد بن إسحاق العدل، ثنا محمد بن الحسن بن قتيبة، ثنا محمد بن عمرو الضرير قالا: ثنا الوليد بن مسلم، ثنا ابن جريج، ثنا عمرو بن دينار، عن سعيد بن جبير، عن ابن عباس - رضي الله تعالى عنهما - قال: كان المسلمون لا يعلمون انقضاء السورة حتى تنزل: {بسم الله الرحمن الرحيم}، فإذا نزلت {بسم الله الرحمن الرحيم}، علموا أن السورة قد انقضت.ولم يذكر رحيم سعيد بن جبير.هذا حديث صحيح على شرط الشيخين، ولم يخرجاه.‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #846/173 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)

Umm Salama said: "The Prophet used to recite `In the name of God most merciful, most beneficent, Praise be to God the Lord of the Universe' to the end of the chapter, he would recite it word by word."
حدثنا أبو أحمد محمد بن محمد بن الحسين الشيباني، ثنا أبو العلاء محمد بن أحمد بن جعفر الكوفي بمصر، ثنا أبو بكر بن أبي شيبة، ثنا حفص بن غياث، عن ابن جريج، عن ابن أبي مليكة، عن أم سلمة قالت: كان النبي - صلى الله عليه وسلم - يقرأ: (بسم الله الرحمن الرحيم، الحمد لله رب العالمين)، يقطعها حرفا حرفا.هذا حديث صحيح على شرط الشيخين، ولم يخرجاه.
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #847/174 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)
     Sunan Abu Dawud, #4001 (الجزء الثاني. -29- كتاب الحروف والقراآت)
     Mu'ujam al-Tabarani al-Kabeer, by Imam al-Tabarani ( ذكر أزواج رسول الله صلى الله عليه وسلم. أم سلمة. عبد الله بن أبي مليكة عن أم سلمة)
     Musnad Ahmad ibn Hanbal (المجلد السادس. أحاديث فاطمة بنت رسول الله صلى الله عليه وسلم. حديث أم سلمة زوج النبي صلى الله عليه وسلم )

Umm Salama said: "Indeed the Prophet of God (P) would recite in the prayer `In the name of God most merciful, most beneficent' and would count it as a verse. Praise be to God, the Lord of the Universe [would be] two verses, the most beneficent, most merciful, three verses, the master of the day of judgement, the fourth, You alone do we worship and from You alone we seek help, and he gathered five fingers."
حدثنا أبو العباس محمد بن يعقوب، ثنا محمد بن إسحاق الصغاني. وأخبرني أبو محمد بن زياد العدل في أول كتاب التفسير، ثنا أبو بكر محمد بن إسحاق بن خزيمة، ثنا أبو بكر بن إسحاق الصغاني، ثنا خالد بن خداش، ثنا عمر بن هارون، عن ابن جريج، عن ابن أبي مليكة، عن أم سلمة: أن رسول الله - صلى الله عليه وسلم - قرأ في الصلاة {بسم الله الرحمن الرحيم}، فعدها آية، {الحمد لله رب العالمين}، آيتين، {الرحمن الرحيم}، ثلاث آيات، {مالك يوم الدين}، أربع آيات، وقال: (هكذا {إياك نعبد وإياك نستعين}، وجمع خمس أصابعه. عمر بن هارون أصل في السنة ولم يخرجاه، وإنما أخرجته شاهدا. (ج/ص: 1/ 357)‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #848/175 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)

Anas b. Malik: He said: "Mu`awiya led the prayer in Medina, he recited it loudly and he recited in it `In the name of God most merciful, most beneficent' at the beginning of the mother of the Qur'an but he did not recite `In the name of God most merciful, most beneficent' for the sura after it until he completed that recitation. When he recited the salam, the Muhajirun and Ansar who had heard [the recitation] yelled from all sides: `O Mu`awiya, did you steal [something] from the prayer or did you forget?' After that, whenever he prayed, he would recite `In the name of God most merciful, most beneficent' in the sura after the mother of the Qur'an.'"
حدثنا أبو العباس محمد بن يعقوب، أنبأ الربيع بن سليمان، أنبأ الشافعي، أنبأ عبد المجيد بن عبد العزيز، عن ابن جريج، أخبرني عبد الله بن عثمان بن خثيم أن أبا بكر بن حفص بن عمر، أخبره: أن أنس بن مالك قال: صلى معاوية بالمدينة صلاة، فجهر فيها بالقراءة، فقرأ فيها: بسم الله الرحمن الرحيم لأم القرآن، ولم يقرأ بسم الله الرحمن الرحيم للسورة التي بعدها حتى قضى تلك القراءة، فلما سلم ناداه من سمع ذلك من المهاجرين والأنصار من كل مكان: يا معاوية أسرقت الصلاة، أم نسيت؟ فلما صلى بعد ذلك قرأ: بسم الله الرحمن الرحيم، للسورة التي بعد أم القرآن، وكبر حين يهوي ساجدا. هذا حديث صحيح على شرط مسلم، فقد احتج بعبد المجيد بن عبد العزيز، وسائر الرواة متفق على عدالتهم، وهو علة لحديث شعبة، وغيره من قتادة على علو قدره يدلس ويأخذ عن كل أحد، وإن كان قد أدخل في الصحيح حديث قتادة، فإن في ضده شواهد أحدها ما ذكرناه. ومنها: (ج/ص: 1/ 358)‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #851/178 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)
     Kanz al-U'ummal, #22182 (المجلد الثامن. - التسمية)

Anas ibn Malik said: "I heard the Prophet (P) reciting in the prayer `In the name of God most merciful, most beneficent' loudly."
ما حدثناه أبو عبد الله محمد بن يعقوب بن يوسف الحافظ، ثنا علي بن الحسين بن أبي عيسى، ثنا عمرو بن عاصم الكلابي، ثنا همام، وجرير قالا: ثنا قتادة قال: سئل أنس بن مالك كيف كان قراءة رسول الله - صلى الله عليه وسلم -؟ قال: كانت مدا، ثم قرأ: بسم الله الرحمن الرحيم، يمد الرحمن، ويمد الرحيم.
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #852/179 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)
     Sahih al-Bukhari #4758/4759 (الجزء الثالث. 69 - كتاب فضائل القرآن. 29 - باب: مد القراءة)
     Musnad Imam al-Shafi'i, #223, 224 (الجزء الأول. الباب السادس في صفة الصلاة)

Hamid al-Tawil from Anas b. Malik, he said: "I prayed behind the Prophet (P) and behind Abu Bakr, Umar, Uthman and Ali; and all of them would recite 'In the name of God most merciful, most beneficent' loudly."

I have cited this tradition as a testimony to what preceded it. These traditions, which we have cited, are opposed to the tradition of Qatada from whom our Imams report - and the words are from Anas - He said: "I prayed behind the Prophet (P) and behind Abu Bakr, Umar and Uthman, and I did not hear any of them recite 'In the name of God most merciful, most beneficent.'" Al-Hakim then said: "This chapter has [traditions] from the Commander of the faithful, Uthman and Ali, Talha, Ibn Ubayd Allah, Jabir b. Abd Allah, `Abdallah b. Umar, al-Hakam b. 'Umayr al-Thamali, al-Nu'uman b. Bashir, Samura b. Jundab, Burayda al-Aslami and `A'isha, the daughter of the truthful one (may God be pleased with them) all of them are reports I have in a chapter which I have left out for the sake of brevity; I have abridged from them what is germane to this chapter. Similarly, I have mentioned [them] in the chapter on the companions, the successors and their followers (may God be pleased with them) who recite `In the name of God most merciful, most beneficent' loudly."

ما حدثني أبو بكر مكي بن أحمد البردعي، ثنا أبو الفضل العباس بن عمران القاضي، ثنا أبو جابر سيف بن عمرو، ثنا محمد بن أبي السري، ثنا إسماعيل بن أبي أويس، ثنا مالك، عن حميد، عن أنس قال: صليت خلف النبي - صلى الله عليه وسلم - وخلف أبي بكر، وخلف عمر، وخلف عثمان، وخلف علي، فكلهم كانوا يجهرون بقراءة: بسم الله الرحمن الرحيم.
إنما ذكرت هذا الحديث شاهدا لما تقدمه، ففي هذه الأخبار التي ذكرناها معارضة لحديث قتادة الذي يرويه أئمتنا عنه وقد بقي في الباب عن أمير المؤمنين عثمان، وعلي، وطلحة بن عبيد الله، وجابر بن عبد الله، وعبد الله بن عمر، والحكم بن عمير الثمالي، والنعمان بن بشير، وسمرة بن جندب، وبريدة الأسلمي، وعائشة بنت الصديق - رضي الله تعالى عنهم، كلها مخرجة عندي في الباب تركتها إيثارا للتخفيف، واختصرت منها ما يليق بهذا الباب وكذلك قد ذكرت في الباب من جهر: ببسم الله الرحمن الرحيم من الصحابة والتابعين، وأتباعهم - رضي الله تعالى عنهم.‏
Reference:
     Mustadrak al-Hakim, by Muhammad ibn Abdullah al-Hakim al-Nisaboori, #855/182 (المجلد الأول. -4- كتاب الصلاة. باب التأمين)

Anas ibn Malik narrated: "I prayed behind Abu Bakr, Umar and Uthman and all of them used to recite 'In the name of God most merciful, most beneficent' when they started the prayer."
عن أنس بن مالك قال: قمت وراء أبي بكر الصديق وعمر بن الخطاب وعثمان بن عفان فكلهم كان يقرأ بسم الله الرحمن الرحيم إذا افتتح الصلاة.
Reference:
     Kanz al-U'ummal, #22175 (المجلد الثامن. {التسمية}. )

Abu Huraira narrated: "If you recite al-Hamdulillah, then recite Bismilah al-Rahman al-Raheem as this is the mother of the Qur'an and the mother of the Book and the Sabe'i al-Mathani (the fatiha) and Bismilah al-Rahman al-Raheem is one of its verses."
إذا قرأتم الحمد لله فاقرؤا بسم الله الرحمن الرحيم إنها أم القرآن وأم الكتاب والسبع المثاني وبسم الله الرحمن الرحيم إحدى آياتها. (قط هق) عن أبي هريرة.‏
Reference:
     زيادة الجامع الصغير، والدرر المنتثرة، الإصدار, #546 (كتاب "زيادة الجامع الصغير"، للسيوطي. حرف الهمزة. )
     Kanz al-U'ummal, #2519 (المجلد الأول. الباب السابع في تلاوة القرآن وفضائله وفيه خمسة فصول. الإكمال. )
     Kanz al-U'ummal, #19665 (المجلد السابع. {القراءة وما يتعلق بها}. )

Talha ibn Ubaydallah narrated that the prophet said: "whoever does not recite Bismilah al-Rahman al-Raheem has abandoned one of the verses of the Book of Allah. From among the verses revealed to me is Bismilah al-Rahman al-Raheem"
من ترك بسم الله الرحمن الرحيم فقد ترك آية من كتاب الله وقد نزل علي فيما عد من أم الكتاب بسم الله الرحمن الرحيم. (الديلمي عن طلحة بن عبيد الله)
Reference:
     Kanz al-U'ummal, #2494 (المجلد الأول. الباب السابع في تلاوة القرآن وفضائله وفيه خمسة فصول. الإكمال. )

It was narrated from Ali that everytime he started a Surat during the Salat, he would recite Bismilah al-Rahman al-Raheem and he also said that whoever did not recite it has fallen short, and he used to say it is the completion of al-Saba'a al-Mathani (Surat al-Fatiha).
عن علي إنه كان إذا افتتح السورة في الصلاة يقرأ: بسم الله الرحمن الرحيم وكان يقول: من ترك قراءتها فقد نقص، وكان يقول هي تمام السبع المثاني.(الثعلبي).‏
Reference:
     Kanz al-U'ummal, #4049, #4801 (المجلد الثاني. (البسملة). )

From Ali through Abdu Khayr that Ali was asked about al-Saba'a al-Mathani (Surat al-Fatiha). So Ali said: "al-Hamdulillah Rabbi al-A'alameen", then it was said that it has 6 verses, so Ali said: 'Bismilah al-Rahman al-Raheem is also a verse.'
عن علي عن عبد خير قال: سئل علي عن السبع المثاني؟ فقال: {الحمد لله رب العالمين} فقيل إنما هي ست آيات، فقال: {بسم الله الرحمن الرحيم} آية.(قط ق وابن بشران في أماليه).‏
Reference:
     Kanz al-U'ummal, #4800 (المجلد الثاني. البسملة آية.)

Abu Huraira narrated that the prophet said: "Jibreel came to me and he taught me the prayer and he recited Bismilah al-Rahman al-Raheem"
أتاني جبريل فعلمني الصلاة فقرأ{بسم الله الرحمن الرحيم} فجهر بها.(ابن النجار عن أبي هريرة).‏
Reference:
     Kanz al-U'ummal, #19685 (المجلد السابع. {الإكمال})

Jabir ibn Abdullah narrated: "The prophet asked me what I read when I get up to pray?" I answered: al-Hamdulillah Rabbi al-A'alameen. The prophet said: say Bismilah al-Rahman al-Raheem.
كيف تقرأ إذا قمت في الصلاة؟ قلت: أقرأ{الحمد لله رب العالمين} قال: قل{بسم الله الرحمن الرحيم}. (قط عن جابر).‏
Reference:
     Kanz al-U'ummal, #19686 (المجلد السابع. {الإكمال})

إذا قمت في الصلاة فقل: {بسم الله الرحمن الرحيم} {الحمد لله رب العالمين} حتى تختمها{قل هو الله أحد} إلى آخرها.
(قط عن داود بن محمد بن عبد الملك بن حبيب بن تمام بن حسين بن عرفطة عن أبيه عن جده عن أبيه عن جده عن حسين بن عرفطة).‏
Reference:
     Kanz al-U'ummal, #19687 (المجلد السابع. {الإكمال})

Ali narrated: the prophet asked me how I started the prayer. I said: al-Hamdulillah Rabbi al-A'alameen. The prophet said: say Bismilah al-Rahman al-Raheem.
عن علي قال: قال النبي صلى الله عليه وسلم كيف تقرأ إذا قمت إلى الصلاة؟ قلت: الحمد لله رب العالمين، قال: قل بسم الله الرحمن الرحيم.
Reference:
     Kanz al-U'ummal, #22168 (المجلد الثامن. {إخفاء القراءة وجهرها} )

Jabir ibn Abdullah narrated: "The prophet asked me how I start the prayer?" I answered: al-Hamdulillah Rabbi al-A'alameen. The prophet said: say Bismilah al-Rahman al-Raheem.
عن جابر قال: قال لي النبي صلى الله عليه وسلم كيف تفتتح الصلاة يا جابر؟ قلت: بالحمد لله رب العالمين، قال لي: قل بسم الله الرحمن الرحيم‏
Reference:
     Kanz al-U'ummal, #22178 (المجلد الثامن. - التسمية)

Contradictory reports
Imam Malik has included in his Muwatta a narration reporting that the first three caliphs did not recite the Bismillah in their prayers.

This particular narration fully contradicts one of the above narrations which states that the first three caliphs did recite the Bismillah verse during the prayers.

Yahya related to me from Malik from Humayd at-Tawil that Anas ibn Malik said, "I stood behind Abu Bakr and Umar and Uthman and none of them used to recite 'In the name of Allah, the Merciful, the Compassionate' when they began the prayer."
Reference:
     Muwatta Imam Malik, Book 3, Number 3.7.31, Book: Prayer (English version)
     Sahih Muslim, #(399)-50 (الجزء الأول. 4 - كتاب الصلاة. (13) باب حجة من قال لا يجهر بالبسملة)

If the above narration is correct, then the first three caliphs have made a mistake and disoberyed the sunnah of the prophet, because all the previous narrations prove that the word Bismillah is part of all 113 verses of the Quran and must be recited just like the prophet did.

Ibn Mughfil narrated: "My father heard me when I was reciting `In the name of God most merciful, most beneficent' and he said: `O my son, be careful of innovation, for I have prayed behind the Prophet of God (P), Abu Bakr, `Umar and `Uthman and I did not hear even one of them recite it."
حَدَّثَنَا أَحَمْدُ بنُ مَنِيعٍ حَدَّثَنَا إِسْمَاعيلُ بنُ إِبْرَاهِيمَ حَدَّثَنَا سَعيدُ الجُوَيْريُّ عن قَيْسِ بن عَبَايَةَ عن ابنِ عَبدِ اللهِ بنِ مُغَفَّلٍ قَالَ: "سَمِعَني أَبي وَأَنَا في الصَّلاَةِ أَقُولُ "بَسْمِ اللهِ الرَّحْمَنِ الرَّحِيْمِ" فَقَالَ لي: أَيْ بُنيَّ مُحْدَثٌ إِيَّاكَ وَالحَدَثَ، قَالَ: وَلَمْ أَرَ أَحَداً مِن أَصْحَابِ رَسُولِ اللهِ صَلَّى الله عَلَيْهِ وَسَلَّمَ كَانَ أَبغَضَ إِلَيهِ الحَدَثُ في الإِسْلاَمِ، يَعْنِي مِنْهُ، وَقَالَ: وَقَدْ صَلَّيتُ مَعَ النَّبِيِّ صَلَّى الله عَلَيْهِ وَسَلَّمَ، وَمَعَ أَبي بَكْرِ وَعُمَرَ وَعُثْمَانَ فَلَمْ أَسْمَعْ أَحَداً مِنْهُمْ يَقُولُها، فَلاَ تَقُلْهَا، إِذَا أَنتَ صَلَّيتَ فَقُلُ {الحَمْدُ للهِ رَبِّ العَالَمِين}".
قَالَ أَبُو عِيسَى: حَدِيثُ عَبدِ اللهِ بنِ مُغَفَّلٍ حَدِيثٌ حَسَنٌ، وَالعَمَلُ عَلَيهِ عِنْدَ أَكْثَرِ أَهلِ العِلمِ مِن أَصْحَابِ النَّبِيِّ صَلَّى الله عَلَيْهِ وَسَلَّمَ مِنْهُمْ أَبُو بَكْرٍ وَعُمَرُ وَعُثْمَانُ وَعَلِيٌّ وَغَيرُهُمْ وَمَنْ بَعْدَهُمْ مِنَ التَّابِعِينَ. وَبِهِ يَقُولُ سُفيَانُ الثَّورِيُّ وَابنُ المُبَارَكِ وَأَحْمَدُ وَإِسْحَقُ، لاَ يَرَوْنَ أَنْ يَجْهَرَ بِبِسْمِ اللهِ الرَّحْمَنِ الرَّحِيمِ، قَالُوا: وَيَقُولُها في نَفْسِهِ.‏
Reference:
     Sunan al-Tirmidhi, #244 (المجلد الأول. أَبوابُ الصَّلاَةِ. 180- بَابُ مَا جَاءَ في تَرْكِ الجَهرِ بِبِسْمِ اللهِ الرَّحْمَنِ الرَّحِيْمِ)
     Sunan ibn Majah, #815 (الجزء الأول. 5 - كتاب إقامة الصلاة والسنة فيها. (4) باب افتتاح القراءة)
     Musnad Ahmad ibn Hanbal (المجلد الرابع. أول مسند المدنيين رضي الله عنهم أجمعين. حديث عبد الله بن مغفل المزني عن النبي صلى الله عليه وسلم)

In the following narration, Imam al-Shafii argues that the fact that the first three caliphs started the fatiha with alhamdoulilah rabbil a'alamin does not mean that they have omitted it -they may have said it with a low voice. But we have already seen that the prophet used to recite it loudly. Moreover, al-Shafii states that if the prayer is recited loudly, then should the Bismillah.

حَدَّثَنَا قُتَيبَةُ حَدَّثَنَا أَبُو عَوَانَةَ عَن قَتَادَةَ عَن أَنَسٍ قَالَ: "كَانَ رَسُولُ اللهِ صَلَّى الله عَلَيْهِ وَسَلَّمَ وَأَبُو بَكْرٍ وَعُمَرُ وَعُثْمَانُ يَفْتَتِحُونَ القِرَاءَةَ بِالحَمدِ لله رَبِّ العَالَمِينَ".
قَالَ أَبُو عِيسَى: هَذَا حَدِيثٌ حَسَنٌ صَحِيحٌ. وَالعَمَلُ عَلَى هَذَا عِنْدَ أَهلِ العِلمِ مِنْ أَصْحَابِ النَّبِيِّ صَلَّى الله عَلَيْهِ وَسَلَّمَ وَالتَّابِعِين وَمَنْ بَعْدَهُمْ، كَانُوا يَفْتَتِحُونَ القِرَاءَةَ بِالحَمدِ للهِ رَبِّ العَالَمِينَ.
قَالَ الشَّافِعيُّ: إِنَّمَا مَعْنَى هَذَا الحَدِيثِ أَنَّ النَّبِيَّ صَلَّى الله عَلَيْهِ وَسَلَّمَ وَأَبا بَكْرٍ وَعُمَرَ وَعُثمَانَ كَانُوا يَفْتَتِحونَ القِرَاءَةَ بِالحَمدِ للهِ رَبِّ العَالَمِينَ، مَعْنَاهُ أَنَّهُمْ كَانُوا يَبْدَؤَونَ بِقِرَاءَةِ فَاتِحَةِ الكِتَابِ قَبلَ السُورَةِ، وَلَيْسَ مَعْنَاهُ أَنَّهُمْ كَانُوا لاَ يَقْرَؤون بِسْمِ اللهِ الرَّحْمَنِ الرَّحِيمِ. وَكَانَ الشَّافِعيُّ يَرَى أَنْ يُبْدَأَ بِبِسْمِ اللهِ الرَّحْمَنِ الرَّحِيمِ وَأَنْ يُجْهَرَ بِهَا إِذَا جُهِرَ بِالقِرَاءَةِ.‏
Reference:
     Sunan al-Tirmidhi, #246 (المجلد الأول. أَبوابُ الصَّلاَةِ. 180- بَابُ مَا جَاءَ في تَرْكِ الجَهرِ بِبِسْمِ اللهِ الرَّحْمَنِ الرَّحِيْمِ)

حدثنا علي بن حجر أخبرنا يحيى بن سعيد الأموي عن ابن جريج عن ابن أبي مليكة عن أم سلمة قالت:
"كان رسول اللّه صلى اللّه عليه وسلم يقطع قراءته يقرأ: الحمد اللّه رب العالمي. ثم يقف الرحمن الرحيم. ثم يقف. وكان يقرأها: ملك يوم الدين".
هذا حديث غريب. وبه يقرأ أبو عبيد ويختاره، وهكذا روى يحيى بن سعيد الأموي وغيره عن ابن جريج عن ابن أبي مليكة عن أم سلمة، وليس اسناده بمتصل لأن الليث بن سعد روى هذا الحديث عن أبي مليكة عن يعلى بن مملك عن أم سلمة أنها وصفت قراءة النبي صلى اللّه عليه وسلم حرفا حرفا. وحديث الليث أصح. وليس في حديث الليث، وكان يقرأ {ملك يوم الدين}.‏
Reference:
     Sunan al-Tirmidhi, #3095 (المجلد الرابع. أبواب القراءات، عن رسول الله صلى اللّه عليه وسلم. 1- بسم اللّه الرحمن الرحيم)

أخبرنا محمد بن علي بن الحسن بن شفيق قال سمعت أبي يقول أنبأنا أبو حمزة عن منصور بن زاذان عن أنس بن مالك قال صلى بنا رسول الله صلى الله عليه وسلم فلم يسمعنا قراءة بسم الله الرحمن الرحيم وصلى بنا أبو بكر وعمر فلم نسمعها منهما.‏
Reference:
     Sunan al-Nisa'i (المجلد الثاني. كتاب الافتتاح. ترك الجهر ببسم الله الرحمن الرحيم.)
     Musnad Ahmad ibn Hanbal (المجلد الثالث. مسند أنس بن مالك رضي الله تعالى عنه)

 
Conclusion
Here are again the three narrations transmitted from Anas, which report that the Bismillah verse was not recited during the prayer:
  1. The first one states that Anas prayed behind the prophet and the first three caliphs and none of them used to recite the Bismillah.
  2. The second states that the prophet and the first three caliphs would start their prayer with the alhamdoulilah rabbil a'alamin verse.
  3. And finally, the third narrations states that Anas never heard the prophet and the first three caliphs reciting the Bismillah verse.
Well, these three narrations are in agreement with one another, but they are totally contradictory to the following two narrations, also transmitted by Anas ibn Malik:
Anas b. Malik: He said: "Mu`awiya led the prayer in Medina, he recited it loudly and he recited in it `In the name of God most merciful, most beneficent' at the beginning of the mother of the Qur'an but he did not recite `In the name of God most merciful, most beneficent' for the sura after it until he completed that recitation. When he recited the salam, the Muhajirun and Ansar who had heard [the recitation] yelled from all sides: `O Mu`awiya, did you steal [something] from the prayer or did you forget?' After that, whenever he prayed, he would recite `In the name of God most merciful, most beneficent' in the sura after the mother of the Qur'an.'"

Anas ibn Malik said: "I heard the Prophet (P) reciting in the prayer `In the name of God most merciful, most beneficent' loudly."

Obviously, these reports contradict each others. We shall therefore disregard them and look at the remaining ones.

As far as the narration of the Ibn Mughfil, the scholars of the science of hadith do not this narrator and therefore anything transmitted through him is unauthentic.

We are therefore left with the multiple narrations that support the facts that the Bismillah is a verse of every surat except that of al-Tawbah, it was recited by the prophet and omitting it is similar to omitting any other verse, which invalidates the whole recitation. Moreover, the fact that this opinion is also that of the Twelver Shia'a makes the argument stronger, especially that we have a narration from Imam Ali (the gate of knowledge) that supports this view.